AI学什么(第1期）：大语言模型如何"理解"语言?
输入“/”快速插入内容
AI学什么(第1期）：大语言模型如何"理解"语言?
AI学什么(第1期）：大语言模型如何"理解"语言?
用户4242用户4242
用户6351用户63512025年7月16日修改
大家好，我是蓝衣剑客，欢迎来到「AI学什么」——一个专注于AI科普的栏目。这个栏目的宗旨是"用最精彩的故事，讲述最硬核的知识"。在这里，你将看到深入浅出的AI核心技术解析，既不会被枯燥的技术细节困扰，也不会停留在肤浅的概念层面。通过生动的类比、通俗的语言和完整的故事，帮助你在轻松阅读中掌握那些看似难以理解的AI知识，培养应对AI时代的核心认知能力。无论你是AI领域的新手，还是希望加深理解的从业者，这里都能为你提供清晰的知识和独特的思考角度。
罗塞塔石碑
1799年，地中海沿岸的埃及小镇罗塞塔，拿破仑远征军的一名工兵在修筑防御工事时，铁锹突然碰到了一个坚硬的物体。他们挖出来一看，是一块黑色花岗岩石碑，上面刻着三种文字：已经失传近两千年的古埃及象形文字、埃及世俗体和当时学者们尚能理解的古希腊文。
这一发现在学术界掀起轩然大波。古埃及文明曾经璀璨辉煌，但它的文字系统早已成为无人能解的谜团。象形文字像是一幅幅精美但沉默的图画，承载着古代智慧，却无法向现代人述说其中的奥秘。
一位名叫让-弗朗索瓦·尚波利翁的年轻语言学家，将毕生精力投入到这块石碑的研究中。令人惊讶的是，他解码古埃及文字的方法并非通过理解古埃及人的思维方式或文化背景，而是采取了一种纯粹的模式识别方法：他发现石碑上的象形文字组合与希腊文中特定名字（如"托勒密"、"克利奥帕特拉"）存在对应关系。 1822年9月27日 ，尚波利翁成功破译了这些沉默了两千多年的古老符号，为人类打开了通往古埃及文明的大门。
两个世纪后，当我们面对ChatGPT这样能够写诗、编程、解题、创作的人工智能时，一个惊人的相似之处浮现：现代大语言模型"理解"人类语言的方式，与尚波利翁破解象形文字的过程惊人地相似。它们都不需要真正理解语言背后的含义，而是通过识别文本中的统计规律和模式，学会了如何处理人类语言。
当你与ChatGPT对话时，它能够回答复杂问题，撰写流畅文章，甚至创作打动人心的内容。但它真的"理解"这些内容吗？它的"大脑"里发生了什么？为什么它时而表现出超凡智慧，时而又犯下常识性错误？今天，让我们一起揭开现代大语言模型的神秘面纱，探索AI是如何"理解"语言的。
从文字到数字的旅程
人类的语言是声音和符号。我们说话、写字，用耳朵听、用眼睛看。但计算机不同，它只认识数字，只会进行数学运算。这就带来了第一个挑战：如何把人类的语言转换成计算机能处理的数字？
早期的方法很简单：给每个词编个号码。"我"是1号，"你"是2号，"喜欢"是3号。这样计算机就能用数字来代表词语了。但这种方法有个大问题——计算机无法知道哪些词语是相似的。在这个编号系统里，"猫"可能是87号，"狗"是1046号，它们之间看不出任何关联。但我们知道，猫和狗都是宠物，有很多共同点。
2013年，谷歌团队发明了一种叫"词嵌入"的技术，彻底改变了这一局面。这项技术不再给每个词一个简单的编号，而是给每个词一连串的数字（向量）。巧妙之处在于：意思相近的词，它们的数字序列也很相近。
打个比方，这就像给每个词在一个巨大的公园里安排一个位置。"猫"和"狗"会被安排在很近的位置，因为它们都是宠物；"猫"和"老虎"也很近，因为它们都是猫科动物；而"猫"和"电脑"就会被安排在公园的两端，因为它们几乎没有共同点。
这种表示方法让计算机第一次能够捕捉到词语之间微妙的关系。"国王-男人+女人=王后"这样的数学运算在这个系统中竟然成立！计算机开始展现出一丝"理解"语言含义的能力。