分享
AIGC Weekly #69
输入“/”快速插入内容
AIGC Weekly #69
🔗 原文链接:
https://quail.ink/op7418/p/aigc-wee...
发表时间:2024-04-29
上周精选 ✦
Open AI 的动态:企业服务、起初研究和 ChatGPT 体验优化
首先是 Open AI 官方两条内容,首先是介绍了为企业 API 客户做的一些功能上的更新,基本上前几天都说过了就是总结一下。
包括更多企业安全措施、更好的 API 控制、Assistants API的一系列更新和节约成本的措施。
另外还久违的发布了一篇关于模型安全的论文,帮助减少 LLM 提示注入和越狱在内的多种攻击。
企业 API 客户做的一些功能上的更新包括:
推出 Private Link,客户可以确保 Azure 和 OpenAI 之间直接通信的新方式,最大限度地减少对开放互联网的暴露。
发布了原生的多因素身份验证(MFA),以帮助确保符合日益增加的访问控制要求。
组织将能够更精细地控制和监督 OpenAI 中的个别项目。这包括将角色和 API 密钥范围限定于特定项目,限制/允许提供哪些模型,设置基于使用量和速率的限制以提供访问权限并避免意外超支。
Assistants API 引入了几项更新,以实现更准确的检索、围绕模型行为和用于完成任务的工具的灵活性,以及更好地控制成本。
达到承诺的每分钟 Token 吞吐量的客户可以获得 5%-10% 的折扣。
客户可以使用新批处理 API 异步运行非紧急工作负载。批处理 API 请求的定价为共享价格的 50%,提供更高的速率限制,并在 24 小时内返回结果。
训练LLM优先考虑特权指令,避免越狱的措施包括:
造成这种漏洞的一个主要原因是,LLM往往无法区分来自系统的指令和来自不可靠用户或第三方的文本,对它们给予相同的优先级处理。
为此,我们设计了一种指令优先级系统,明确规定了在不同优先级指令发生冲突时,模型应如何响应。
接着,我们开发了一种自动数据生成技术,通过这种技术,可以训练LLM在处理指令时有选择性地忽视那些权限较低的指令。
应用这种方法后,我们发现它显著增强了LLM的安全性,即便面对训练阶段未曾遇到的新型攻击,也能保持高度的鲁棒性,同时对模型的常规功能几乎没有影响。
ChatGPT 体验优化:
•
现在 Open AI 给免费的 GPT3.5 用户增加了使用速率限制,达到限制会要求注册账号。
•
“Context Connectors”,它的首次实现很可能是与 Microsoft 365 或 Google Drive 相集成。并且免费的 CHatGPT 用户也可以上传文件。
•
ChatGPT 可以胃自定义 GPT s 设置联系人清单,即其它GPTs 可以与你的 GPTs 通信。
微软发布 phi-3-mini 微型模型
微软发布 phi-3-mini 模型,4 位量化之后可以部署在 iPhone 14 上,只占用 1.8G 内存,每秒输出 12 个 Token 。模型能力上跟 Mixtral 8x7B 和 GPT-3.5 差不多。
这几天这个模型被部署到了各个苹果设备上,甚至是 Vision Pro。
详细介绍:
一个新型语言模型 phi-3-mini,该模型拥有38亿参数,训练数据高达3.3万亿 Token。
根据学术基准和我们的内部测试,phi-3-mini 的整体性能与 Mixtral 8x7B 和 GPT-3.5 等大型模型相当(例如,在 MMLU 测试中达到69%,在 MT-bench 测试中得分为8.38),但其体积小到足以部署在手机上。
这种创新归功于我们的训练数据集,它是 phi-2 所用数据集的扩大版本,包括了经过严格筛选的网络数据和合成数据。此外,这个模型还进一步优化了其鲁棒性、安全性和适应聊天的格式。
还初步展示了在训练达4.8万亿 Token 的情况下,使用7B和14B参数的模型(名为 phi-3-small 和 phi-3-medium)所取得的成效,这两个模型的性能均显著优于 phi-3-mini(例如,在 MMLU 测试中分别达到75%和78%,在 MT-bench 测试中分别得分为8.7和8.9)。
模型下载:
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct-onnx