Karpathy：从头开始构建GPT分词器
输入“/”快速插入内容
Karpathy：从头开始构建GPT分词器
Karpathy：从头开始构建GPT分词器
📌
作者：新智元
前段时间，AI大神Karpathy上线的AI大课，已经收获了全网15万次播放量。
当时还有网友表示，这2小时课程的含金量，相当于大学4年。
就在这几天，Karpathy又萌生了一个新的想法：
那便是，将2小时13分钟的「从头开始构建GPT分词器」的视频，转换为一本书的章节（或者博客文章）形式，专门讨论「分词」。
具体步骤如下：
•
为视频添加字幕或解说文字。- 将视频切割成若干带有配套图片和文字的段落。- 利用大语言模型的提示工程技术，逐段进行翻译。
•
将结果输出为网页形式，其中包含指向原始视频各部分的链接。
更广泛地说，这样的工作流程可以应用于任何视频输入，自动生成各种教程的「配套指南」，使其格式更加便于阅读、浏览和搜索。
这听起来是可行的，但也颇具挑战。
他在GitHub项目minbpe下，写了一个例子来阐述自己的想象。
Karpathy表示，这是自己手动完成的任务，即观看视频并将其翻译成markdown格式的文章。
「我只看了大约4分钟的视频（即完成了3%），而这已经用了大约30分钟来写，所以如果能自动完成这样的工作就太好了」。
接下来，就是上课时间了！
「LLM分词」课程文字版
大家好，今天我们将探讨LLM中的「分词」问题。
遗憾的是，「分词」是目前最领先的大模型中，一个相对复杂和棘手的组成部分，但我们有必要对其进行详细了解。
因为LLM的许多缺陷可能归咎于神经网络，或其他看似神秘的因素，而这些缺陷实际上都可以追溯到「分词」。