分享
Open AI的API和微软Azure并发分析
输入“/”快速插入内容
O
pen
AI
的
API
和微软
Azure
并发分析
OpenAI官方
并发
量是3500 request/minute, 90000 token/minute. 但是
Azure
的并发量是300 request/minute, 120000 token/minute. 相比之下token/minute并发差距不大, 但是request/minute差距是10倍.
多服务不共用同个
并发
限制:微软云官方回复
比如一个账户下,一个区域下部署3个服务都构建3.5的模型,3个服务就是部署3次了,各300就是900.