小七姐：Prompt 喂饭级系列教程小白学习指南（三）
输入“/”快速插入内容
小七姐：Prompt 喂饭级系列教程小白学习指南（三）
小七姐：Prompt 喂饭级系列教程小白学习指南（三）
用户8537用户8537
用户7742用户77422024年3月5日修改
本节我们只讲一个知识点：Token
今天有位小伙伴来问小七姐，为什么我输入了几轮对话之后，GPT仿佛“失忆了”，忘记了之前的设定，我再次强调之后，过几轮它又会忘记呢？而这个问题其实在新手时期非常具有代表性，小七姐今天决定把这个问题的幕后元凶 “ Token ” 揪出来，里里外外讲个清楚。
本文大概2400字，阅读时间10分钟，会讲以下几个点：
一、什么是 Token
二、现在我们使用的大模型 Token 有哪些限制
三、怎么看我使用了多少 Token
四、 Token 限制对 Prompt 编写有什么影响
五、基于上述原理有哪些 tips
让我们开始吧~
一、什么是 Token
在大语言模型领域，" Token "通常用来表示文本数据中的一个单元。在不同的语境下，一个 Token 可能代表一个字、一个词，或者是一个句子。在英文中，一个 Token 通常是一个词或者是标点符号。在一些汉语处理系统中，一个 Token 可能是一个字，也可能是一个词。" Token "是处理和理解文本数据的基本单元。
在深度学习的语言模型中，如Transformer，输入的文本首先被切分成一系列的 Token s。这些 Token s被转换成向量，然后被输入到神经网络中进行处理。因此，在这种情况下，" Token "可以被理解为语言模型接收和处理的最小的信息单元。在训练过程中，每个 Token 会关联一个预测，这个预测可以是下一个 Token 的预测，也可以是该 Token 的属性预测，如词性、情感等。
训练 Token 的数量会影响模型的性能和准确性。更多的训练 Token 通常意味着更多的训练数据，这可能会提升模型的准确性和泛化能力。然而，处理更多的 Token 也会增加计算的复杂性和计算资源的需求。
基于上述解释,很多同学把 Token 理解为中文语义里的“字节”，对于这种理解，只能说从类比关系上有一定的相似度，因为"字节"是计算机存储和处理数据的基本单元，而" Token "则是语言模型处理文本信息的基本单元。但这种理解不够准确的地方在于：
" Token "在语言模型中的作用比"字节"在计算机中的作用更加复杂和多元。在大语言模型中，" Token "不仅代表文本数据中的一个单位，而且每个" Token "都可能携带了丰富的语义信息。比如，在处理一句话时，" Token "可能表示一个字，一个词，甚至一个短语，这些都可以被认为是语言的基本单元。同时，每个" Token "在模型中都有一个对应的向量表示，这个向量包含了该" Token "的语义信息、句法信息等。
所以，尽管" Token "和"字节"都是基本的处理单位，但是" Token "在大语言模型中的含义和作用要比"字节"在计算机中的含义和作用更加丰富和复杂。
另外，如果现在正在浏览这篇帖子的你曾经“机翻”过一些文档的话，你会经常看到“ Token ”被自动翻译工具翻译为“令牌”，我不知道你是否对于这一翻译感到过疑惑，我感到过，所以我问了：