甲木：AI大模型工具的「无限追问」如何实现的？

用户8537

2024年9月27日修改

作者：甲木

微信号：zuiyn_soul

摘要：文章分析了国内AI工具Kimi和智谱如何实现"无限追问"功能，指出Kimi侧重最后回复生成问题建议，而智谱考虑整个对话历史。未来"无限追问"功能将更智能个性化，丰富人机交互。​

🚀 希望能够帮助到对 AI 好奇的朋友，无需深入理解复杂的 Prompt 工程技巧，也能玩转 Prompt。​

在我们使用国内AI工具的时候，发现AI生成回答之后，总是会在对话末尾处，加上三条「下一步追问问题建议」,那么，这些国内的AI大模型工具是如何实现无限追问的呢？​

Dall-E配图

一、背景

这两天跟朋友讨论起了关于AI大模型的「下一步问题建议」是通过什么prompt驱动的？​

即大模型回答用户问题之后的建议“追问问题”，往往在模型回复后，自动根据配置及对话内容提供 3 条用户输入建议。​

拿Kimi来举例，如下图所示，当我问到「什么是人工智能」，Kimi给出相应的回复，并在末尾追加了三条继续追问的问题建议。​

什么是问题建议？

「问题建议」可以很好地帮助用户进行提问，降低用户的时间成本，更好地获取所需答案。​

但疑问来了，有时候我们体验下来「问题建议」的时候，总觉得给出的示例问题并不是我们所想，或者说跟上下文关系并不大。​

那么，AI模型仅仅是根据最后一段对话，还是根据所有上下文内容来实现的「无限追问」能力？​

于是就去尝试了国内绝大部分AI模型，包括智谱、Kimi等等的调用逻辑，整理输出成文。​

二、结论先行

先说结论，就是在最后边追加了一句类似“通过上下文或最后一段对话来猜测用户可能进一步追问的3个相关问题”Prompt，并用json解析出来之后追加到对话框末尾。​

三、Kimi

我们打开「开发者工具」进行观察，如果我们接着问Kimi，「人工智能技术在哪些行业中的应用最为广泛？」。​

甲木：AI大模型工具的「无限追问」如何实现的？​