进阶：a16z推荐进阶经典

输入“/”快速插入内容

进阶：a16z推荐进阶经典

作者：Derrick Harris， Matt Bornstein 和 Guido Appenzeller

原文地址：https://a16z.com/2023/05/25/ai-canon/

译者：通往 AGI 之路

前半部分：目录：a16z 推荐入门经典

技术深度探讨：了解 transformers 和大模型

有无数的资源（有些内容更好些）试图解释大语言模型（LLMs）的工作原理。以下是我们的一些最爱，面向广泛的读者/观众。​

讲解资源

•

The illustrated transformer：Jay Alammar 对 transformer 架构的更多技术概述。

•

The annotated transformer：如果你想在源代码级别理解 transformer 模型，这是一篇深度文章。需要一些 PyTorch 的知识。

•

Let’s build GPT: from scratch， in code， spelled out：从零开始，通过代码，详细解释：对于工程师们，Karpathy 做了一个如何构建 GPT 模型的视频演示。

•

The illustrated Stable Diffusion：对潜在扩散模型的介绍，这是最常见的用于图像生成的 AI 模型。

•

RLHF: Reinforcement Learning from Human Feedback：Chip Huyen 解释了 RLHF（基于人类反馈的强化学习），它可以使 LLMs 的行为更可预测、更符合人类的友好方式。这是像 ChatGPT 这样的系统中最重要但最不好理解的方面之一。

•

Reinforcement learning from human feedback：计算机科学家和 OpenAI 联合创始人 John Shulman 在这个精彩的演讲中更深入地探讨了 LLMs（大语言模型）与 RLHF（基于人类反馈的强化学习）的当前状态、进展和限制。

课程

•

Stanford CS25：Transformer 技术联盟，关于 Transformer 技术的在线研讨会。

•

Stanford CS324：由 Percy Liang， Tatsu Hashimoto 和 Chris Re 主讲的《大型语言模型》课程，涵盖了大型语言模型的各种技术和非技术方面。

参考和评论

•

Predictive learning， NIPS 2016：在这次早期的演讲中，Yann LeCun 强烈主张无监督学习是大规模 AI 模型架构的关键元素。跳到 19:20 查看他著名的蛋糕类比，这仍然是现代 AI 最好的心智模型之一。

•

AI for full-self driving at Tesla:：另一个经典的 Karpathy 演讲，这次他介绍了特斯拉的数据收集引擎。从 8:35 开始，他进行了一次伟大的 AI 演讲，解释了为什么长尾问题（在这种情况下是停车标志检测）如此困难。

•

The scaling hypothesis：大型语言模型最令人惊讶的方面之一：规模化（增加更多的数据和计算）会继续提高准确性。GPT-3 是第一个清楚展示这一点的模型，Gwern 的文章很好地解释了其背后的直觉。

•

Chinchilla's wild implications：名义上是对重要的 Chinchilla 论文的解释，这篇文章触及了 LLM 规模化的大问题的核心：我们是否正在耗尽数据？这篇文章在上面文章的基础上，给出了对规模化规律的新鲜视角。

•

A survey of large language models：对当前 LLM 的全面分析，包括发展时间线、规模、训练策略、训练数据、硬件等。

•

Sparks of artificial general intelligence: Early experiments with GPT-4：微软研究部对当前最先进的 LLM（GPT-4）相对于人类智能能力的早期分析。

•

The AI revolution: How Auto-GPT unleashes a new era of automation and creativity：介绍 Auto-GPT 和 AI Agents。这项技术还很早期，但重要的是要理解它——它使用互联网访问和自我生成的子任务来解决特定的、复杂的问题或目标。

•

The Waluigi Effect：名义上是对“Waluigi 效应”的解释（即，为什么 LLM 行为中会出现“另我”）【注：在回应不同的提示或问题时，它可能会表现出不同的“个性”或“角色”】的解释，但其主要的有趣之处在于它对 LLM 提示理论的深入研究。

使用 LLM 进行构建的实用指南

新的应用栈正在以 LLM 为核心形成。虽然目前还没有很多关于此主题的正规教育课程，但我们找到了一些最有用的资源。​

参考

•

Build a GitHub support bot with GPT3， LangChain， and Python：这是关于现代 LLM 应用栈的最早的公开解释之一。这里的一些建议可能已经过时，但在很多方面，它开启了新一代 AI 应用的广泛接受和实践。

•

Building LLM applications for production：Chip Huyen 讨论了构建 LLM 应用的许多关键挑战，如何解决这些挑战，以及哪种类型的用例最有意义。

•

Prompt Engineering Guide：对于任何编写 LLM 提示的人——包括应用开发者——这是最全面的指南，对一些流行模型提供了具体示例。如果想要更轻松、更富有对话性的处理，可以尝试阅读 Brex 的提示工程指南。

•

Prompt injection: What’s the worst that can happen? 可能会发生什么最糟糕的事情？提示注入是 LLM 应用潜在的严重安全漏洞，目前还没有完美的解决方案。Simon Willison 在这篇文章中对这个问题给出了最终的描述。Simon 关于 AI 的几乎所有内容都是非常棒的。

•

OpenAI cookbook：对于开发者来说，这是使用 OpenAI API 的指南和代码示例的最权威收集。它会不断更新新的代码示例。

•

Pinecone learning center：许多 LLM 应用都是基于向量搜索范式。尽管 Pinecone 的学习中心是其品牌所提供的内容，但它提供了如何在这种模式中构建的最有用的指导。

•

LangChain docs：作为 LLM 应用的默认协调层，LangChain 将堆栈中的所有其他部分连接在一起。因此，他们的文档对于理解整个技术栈以及各部分如何协同工作提供了实用的参考。

课程

•

LLM Bootcamp：这是一个实践课程，由 Charles Frye、Sergey Karayev 和 Josh Tobin 主导，专注于构建基于 LLM 的应用。

•

Hugging Face Transformers：这是一个指南，教你如何使用 Hugging Face transformers 库中的开源 LLM。

LLM 基准

•

Chatbot Arena：这是一个由 UC Berkeley 的团队领导的，采用 Elo 评分系统对热门 LLM 进行排名的平台。用户也可以通过进行模型间的直接比较参与其中。

•

Open LLM Leaderboard：是一个由 Hugging Face 提供的排行榜，比较开源 LLM 在一系列标准基准和任务中的表现。

市场分析

我们都为生成式人工智能所能创造的东西感到惊叹，但仍然有很多问题需要回答。哪些产品和公司将生存和繁荣？艺术家会发生什么变化？公司应该如何利用它？它将如何影响就业和整个社会？以下是一些试图回答这些问题的尝试。​

a16z 思考

•

Who owns the generative AI platform?：我们对生成式人工智能基础设施、模型和应用层面的价值积累和可能积累的「旗舰评估」。

◦
翻译：​生成式AI平台，谁主沉浮？ ​

进阶：a16z推荐进阶经典​

进阶：a16z推荐进阶经典