从原理到应用一次讲清楚 Prompt

用户8280

2024年1月30日修改

🎨

原创小宝聊 AI 小宝聊AI 2024-01-30 00:12 发表于浙江

common.docs_name - LarkCCM_Docs_Menu_Image

小宝聊AI

十年大厂架构师，专注于大模型技术和应用

29篇原创内容

公众号

本文长度 5000 字 阅读时长预计需要 20 分钟本文目录​
​
一 、什么是 Prompt​

二、用更加专业的方式定义 Prompt

三、用数学来理解 Prompt

四、 NLP 发展的四大范式

五、为什么 Prompt 可以减少幻觉

六、 Open AI()提供的最佳实践

七、可以直接使用 Prompt 的关键框架

八、为什么使用框架的效果好

1、什么是 Prompt

简单来说， 其实是一套你和大模型交互的一种语言模板。通过这个模版，你可以输出你对于大模型响应的指令， 用于大模型应该具体做什么指定， 完成什么任务， 如何处理具体的任务， 并最终输出你期望的结果。虽然大模型具有基础的文字能力， 能够理解你对于模型说的大部分话，但是为了达成大模型更好的回答效果， 需要通过 Prompt， 来提升模型返回的准确性 。如果说， 过去的时代， 人机交互的主要方式是通过代码， 那么我认为在大模型时代， 交互语言的主要方式其实是 Prompt。​

2、用更加专业的方式定义

Prompt大模型的本质是一个基于语言的概率模型， 他返回他觉得概率最大的内容。如果是直接问大模型， 没有提供 Prompt，相当于大模型随机给出他的答案。有了 Prompt， 其实是给了一个模板， 这个模板包括了对于模型的要求， 输入和输出的限制， 大模型在这个限制之下， 去得到概率最大的答案。 ​
​

3、用数学来理解 Prompt

传统的机器学习是 p(y|x; a) 假设 a是我们训练出来的模型。【训练】 我们用大量人工标志， 训练出来一个模型a。给了大量猫的照片，就返回 cat。模型里面包含了大量猫照片的特征。 【预测】给一个新的照片，根据模型特征按照一定概率返回猫或者其他动物。大模型是 p(y|x; a) 假设 a我们训练出来的通用模型。这个模型没有经过人工的标注，但是他什么都可以学会。我们给出的 Prompt 其实就是 x， 然后让大模型基于这个 x 知道概率最大的 y，这样就避免了人工的标注， 但是依赖于 x 给入的信息， 去更大概率找到合适的 y。  我们给一张照片， 然后我们输入这是一个动物， 这是什么， 然后大模型根据这个输入， 提取照片的特征和我们的提示作为输入， 最终返回猫。 ​

4、 NLP 发展的四大范式

在整个自然语言的发展过程中，经历了四个阶段

（1）非神经网络的特征工程在非神经网络时代， 人工智能主流的计算都是使用完全监督的机器学习的方法。这个方法最大的特点是完全的依赖于统计和传统的机器学习算法（比如贝叶斯算法、决策树）等等， 这些算法的最大的特点是需要先对于存量的数据进行人工的标注， 比如这个是猫那个是狗， 通过这样的方式， 让模型建设先验的知识， 然后当给到一张新的图片之后， 可以基于这个图片进行决策， 得到一个新的结论。这个方式最大的问题，就是标准的数量和质量决定了模型的质量的上限， 同时成本非常巨大。​

（2）基于神经网络的完全监督学习第二个阶段， 基于神经网络的深度学习的时代。这个时代的优势是不需要手动去给训练数据进行单独标注， 而是找到合适的数据进行足够的训练， 就可以获取很好的训练的效果。 ​

（3）预训练 第三个阶段，其实就是大模型的雏形了。这个阶段的最大的特点是无监督。我们一直说的通用智能， 其实就说大模型，其实已经将我们的大部分的知识， 沉淀到自己的模型中。本质就是讲模型， 用信息压缩的方式记录了起来。所以一花一世界，一模型也是一个世界。通过无监督的预训练得到的通用的大模型之后， 使用特定的数据集， 对模型进行针对性的训练， 使得模型更加适应新的数据。这个就是这次大模型最大的升级。无论 是 GPT 还是 Bert 其实都是一样的方案。通过大模型大量的数据海量的训练，大力出奇迹，然后再用小量的数据， 进行针对性的微调。​

（4）Prompt 工程第四个阶段， 就是我们今天重点要讲的Prompt。通过引入合适的模板， 去管控模型的输入、处理和输出的结果。使用这种模型， 可以用 zero shot（零样本），few shot 少量样本的方式去调试模型， 充分利用了模型的推理能力， 让模型按照 Prompt 中对于模型的要求进行输出， 满足各个行业， 各个场景的个性化的需求。​

5、为什么 Prompt 可以减少幻觉

在刚刚开始使用 ChatGPT()的时候， 其实我们只是会把这个对话框理解问题的输入框。或者我们天然的认为这个是一个搜索框， 所以就自动的输入了我们的问题。​

这个时候， 大模型完全没有上下文，也没有任何例子可以去参考， 所以他只能按照自己的模型的内容， 随意的去发挥，看看碰到模型的那一部分， 就返回对应的结果。这个就是大模型最被人诟病的地方， 所谓的幻觉问题。 其实这个不能怪大模型， 就算两个人， 面对面的沟通， 可能由于知识、经历的差别，其实不可能完全的去理解另外一个的意思， 何况这只是一个模型。 所以，为了让 大模型更好的理解我们的问题， 我们需要给大模型更多的输入，更多的限定， 更多的上下文， 更加明确的结果输出， 这样大模型才更有可能返回我们期望的结果。 Prompt 其实也就是用这个思路解决问题的， 限定的上下文， 更多的输入， 更多的限定，从而输出得到更好的结果。 ​

6、 Open AI提供的最佳实践

•
在 OpenAI() 官方文档中， 强调了， 跟大模型交互最重要的点， 是需要描述清晰， 具体的需求。你需要给到他没有任何歧义的需求， 大模型才能给你更加准确的反馈。 他用了一个很有趣， 但是精准的描述， 给大模型讲 Prompt 就跟给外星人讲人类世界是一样的。 ​

•
1 包括更多的信息这样要点的关键是让大模型了解你问问题的场景和上下文。正如我们日常沟通中， 一般也是基于具体的场景 进行沟通，在这个特定的上下文中， 所有的人都知道具体的场景是什么意思， 这样的沟通效率就会更高一些。bad case ：帮我规划一个杭州的旅游行程good case：帮我规划一个杭州 3 天的行程， 我带上我的两个小朋友， 我们希望当地的美食， 可以多推荐一些当地好吃的饭店， 我们更加喜欢人文的景观​

•
2 指定一个特定的角色这个是在很多原则都会比较通用的使用的一种方式。角色可以对于具体的知识， 输入， 输出做出更多的限制， 让结果更加符合个人的意愿的诉求bad case ：帮我实现一个功能goog case：假设你是一个丰富编码经验的程序员，需要你帮我实现一个功能，这个功能具有良好的可阅读， 命名清晰， 鲁棒性， 没有边界问题。 ​

•
3 使用分隔符拆分输入的不同部分在我们跟大模型的交互过程中， 其实会有不同的部分， 比如说角色， 背景， 目标、任务、输出的方式， 需要有明确的分隔符， 讲这些内容进行良好的拆解，这样可以获得更好的输出结果​

•
4 将任务拆解不同的步骤在现实生活中， 对于团队， 我们会将目标进行拆解到个人的小目标。对于每个具体的任务来说， 我们也会将大的任务进行拆解成小任务来做， 毕竟罗马不是一天建成的， 胖子也不是一天吃成的。badcase ：帮我把大象放进冰箱good case：将大象放进冰箱分成几步：1 打开冰箱 2 将大象放进冰箱 3 关上冰箱​

•
5 提供例子对于有一些复杂的场景，其实我们很能用一些很好的文字去描述， 这个时候更好的办法是直接告诉大模型。就像你教育一个小孩子， 最好的方式， 永远是给他树立一个好的榜样， 让他有样学样。 ​

•
6 给 GPT 多一些思考的时间在匆忙给出结论之前， 让大模型自己多思考一下， 寻找对应的解决方案。让大模型将完整的推理结果列出来， 这样方便大模型自己进一步的检查。让大模型检查自己的逻辑是否有一些遗留的点， 保证逻辑的完整性。​

7 、可以直接使用 Prompt 的关键框架

1 ICIO 框架*指令

从原理到应用一次讲清楚 Prompt​

从原理到应用一次讲清楚 Prompt