分享
【Token趣闻】AI收费为何要按Token计费?一探究竟!
输入“/”快速插入内容
【Token趣闻】AI收费为何要按Token计费?一探究竟!
🔗 原文链接:
https://www.iaiuse.com/posts/28b568...
⏰ 发表时间:2024-06-08
作者:大雨
写在前面
•
听说 AI 是按 Token 算钱的?
◦
这个用起来很费 Token
◦
电脑一晚上没关,耗了很多 Token,是不是感觉一套房子没了?
•
为啥要用 Token 来计费呢?
◦
听说 Token 是双向收费的
◦
问 AI 问题收费,回答也收费,这有点过分吧
◦
那AI还不可劲说废话呀!
•
Token 是单词还是字母呢?
◦
汉字怎么计费呢
◦
阿拉伯语怎么计费呢
•
Token 在企业信息化过程中有何不同意义呢?
◦
传统的信息化弄个架构搞搞数据库
◦
AI 的应用为啥会有 Token 的问题?
本文尝试从这些角度来解答,我们常常听到的 Token 到底是个什么?文章很长,且看吧。
计算机发展历史上,常常会出现一些很唬人的名词,后来慢慢走入普通人的生活,也就固化下来了,提示词的 Prompt 就是一个典范,Token 当然也是,目前看起来,它毕竟还是出圈了。
那它是 OpenAI 公司提出来,业内一众公司一致觉得是非常好的计费方式?还是有别的原因呢?
我们先从它的来历说起
在企业环境中,使用 AI 技术帮助降本增效,了解 Token 会帮我们更好理解 AI 在企业中落地。通俗一些理解它是积木,通过搭建积木来完成我们需要的应用,从而提高效率。
Token 基础
Token 基本概念
我们先来看一下,
OpenAI 官方关于 Token
的描述:
•
1 token ~= 4 个英文字符
•
1 token ~= ¾ 单词
•
100 tokens ~= 75 单词
或
•
1-2 个句子 ~= 30 个Token
•
1 段落 ~= 100 tokens
•
1,500 单词 ~= 2048 tokens
看完啥感觉,懵逼了不?这和孔乙己知道茴有几种写法有啥区别?来来来,感受一下它是咋回事:
Learning AI Meticulously, Sharing Knowledge Joyfully
猜猜这句话有几个 Token?6 个单词,那就是 6 个 Token 吧?可惜,它不是!