分享
【保姆级教程】白嫖Groq平台算力(无需魔法,写在扣子收费前)
输入“/”快速插入内容
【保姆级教程】白嫖Groq平台算力(无需魔法,写在扣子收费前)
用户8537
用户8537
2024年7月17日修改
🚀
作者:Larkspur,在AI浪潮中归零,重新学习出发的嵌入式软件领域“老人”
1.
背景
在学习WaytoAGI大佬分享的一些教程时,很多人提到了Groq平台。Groq是一家美国AI芯片公司,专注设计高性能的AI处理器,目前借助自研的AI芯片LPU,每秒能够输出近500个token。和GPT-4,Gemini对标,同一个问题所需的时间,Groq完全碾压了其他两者,输出速度比Gemini快10倍,比GPT4快18倍。
我们如何能在国内环境不使用魔法的情况下白嫖Groq算力平台呢?
2.
思考和目标
这部分整理了整个达成白嫖算力的思路和目标,想直接参考教程的小伙伴可以直接跳转到第三部分教程。
思考:
既然有这么强大的平台,我们能不能零成本白嫖Groq算力,特别是使用其中已经部署的Llama3-70b大模型,并且易于使用呢? 以下一步一步拆解从目标到落地的过程。
目标:
简单零成本,任何人都可以实现:
◦
无需购买大模型API-KEY
◦
无需购买和部署云服务器
◦
无需购买魔法药水使用(魔法流量也是钱)
逐个击破:
1.
Groq平台提供个人免费的API-KEY接口,不同的模型限制如下:
以llama3-70b举例,每分钟30次request,每分钟6000 tokens,每天14400次,相信可以满足大部分个人用户。
无需购买大模型API-KEY -> 击破
Note:如果只是想体验Groq,可以直接接在Groq官网的playground体验:
体验地址:
https://groq.com/
(需要魔法)
2.
我们可以将API调用接入各种平台提供方(如扣子),应用中绑定(如沉浸式翻译),通过已经做好的快捷指令等HTTP 访问(如Siri),无需自己部署服务器,来实现API调用。 (详见后续教程)
无需购买和部署云服务器 -> 击破
3.
因为Groq平台已经开始封禁国内的IP访问,在没有魔法的情况下无法直接访问,考虑通过代理的方式并且流量能满足个人用户。
a.
可以考虑Cloudflare(全球连通云,提供分析师认可的企业级安全性和连接性服务,包括 SASE/SSE、Web 应用程序交付和敏捷的开发)代理 (目前DNS污染,很不稳定)
b.
考虑Deno Deploy(安全的 JavaScript 和 TypeScript 运行时环境,云端部署)来做代理转发,截至撰稿日,稳定而且部署简单。个人用户参考以下免费标准,一个月可有100万次代理访问,100GB带宽,足够个人用户使用。
无需购买魔法药水使用 -> 击破