LLM 应用程序的新兴架构

原文地址：https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/

译者：通往AGI之路，若有瑕疵之处，请在段落评论中斧正，谨此致谢​

发表时间：2023年6月20日

大型语言模型（LLM）是构建软件的强大新基础设施。但由于它们太新了——并且与普通计算资源的行为如此不同——如何使用它们并不总是显而易见的。​

在本文中，我们将分享新兴 LLM 应用程序堆栈的参考架构。它展示了我们见过的 AI 初创公司和成熟的科技公司使用的最常见的系统、工具和设计模式。这个堆栈还处于非常早期的阶段，可能会随着底层技术的进步而发生重大变化，但我们希望它现在能作为使用LLM的开发人员的有用参考。​

这项工作基于与 AI 初创公司创始人和工程师的对话。我们尤其依赖于以下人员的意见：Ted Benson、Harrison Chase、Ben Firshman、Ali Ghodsi、Raza Habib、Andrej Karpathy、Greg Kogan、Jerry Liu、Moin Nadeem、Diego Oppenheimer、Shreya Rajpal、Ion Stoica、Dennis Xu、Matei Zaharia 和Jared Zoneraich。感谢你们的帮助！​

堆栈

这是我们目前对 LLM 应用程序堆栈的看法：

common.docs_name - LarkCCM_Docs_Menu_Image

以下是每个项目的链接列表，供快速参考：

标题依次为：

•
"Data pipelines" - 数据管道​

•
"Embedding model" - 嵌入模型​

•
"Vector database" - 向量数据库​

•
"Playground" - 沙盒环境 / 测试环境​

•
"Orchestration" - 编排​

•
"APIs/plugins" - API接口/插件​

•
"LLM cache" - 大型语言模型缓存​

•
"Logging / LLMops" - 日志记录 / 大型语言模型操作​

•
"Validation" - 验证​

•
"App hosting" - 应用托管​

•
"LLM APIs (proprietary)" - 专有的大型语言模型API接口​

•
"LLM APIs (open)" - 开放的大型语言模型API接口​

•
"Cloud providers" - 云服务提供商​

•
"Opinionated clouds" - 有特定策略或观点的云服务​

LLM 应用程序的新兴架构​

LLM 应用程序的新兴架构