OpenAI将在11月6日举办首次开发者大会
输入“/”快速插入内容
OpenAI将在11月6日举办首次开发者大会
OpenAI将在11月6日举办首次开发者大会
飞书用户85372023年10月16日修改
OpenAI将在11月6日的首次开发者大会上发布重要更新，其目标是让开发者能够更快捷和廉价地开发基于大模型的应用。
而此次更新最让人期待的部分是：“OpenAI将推出Stateful API，理论上可将大模型应用的开销削减为原来的二十分之一。”
“The updates include the addition of memory storage to its developer tools for using AI models. This could theoretically slash costs for application makers by as much as 20-times, addressing a major concern for partners whose cost of using OpenAI’s powerful models could pile up quickly, as they try to build sustainable businesses by developing and selling AI software.”
在AI Agents逐渐流行的今天，如果该消息属实，其无异于向大模型市场投入一枚重磅炸弹，并将进一步推进大模型的“Commodity”化。
Stateful API并非新的概念，但“Stateful API”将如何将GPT打成“地板价”？
Stateful API
实际上早在5月的一次采访上，Altman就首次透露了有关Stateful API的信息，并表示将在年内发布该功能（图1）。
图1 OpenAI产品路线图
依据该信息：“In the future, there will be a version of API that remembers the conversation history”，我们推测Stateful API的实现方式如下：
首先，GPT的API将从Stateless变为Stateful。当前，开发者必须将应用中的历史记录通过Stateless API传给大模型，以便大模型依据历史上下文进行内容生成（图2）。当应用运行一段时间后，其历史记录通常会填满Context Window，并推高API调用成本。
图2: Stateless OpenAI API
而使用Stateful API，开发者只需要传入最新的对话记录，大模型会结合该记录和其维护的历史记录，依据上下文产生新的文内容（图3）。Altman表示，基于Stateful API，用户不用再“Pay for the same tokens from the same conversation history again and again”。
图3: Stateful OpenAI API
其次，Stateful API的实现机制应类似于KV Cache。在Statful API的信息披露之后，X(Twitter)上就有开发者马上意识到Stateful API， 类似于KV Cache机制，将有可能指数级（O(N^2 => O(N)）降低大模型应用的开销（图4）。