Open AI的API和微软Azure并发分析
输入“/”快速插入内容
Open AI的API和微软Azure并发分析
Open AI的API和微软Azure并发分析
OpenAI官方并发量是3500 request/minute, 90000 token/minute. 但是Azure的并发量是300 request/minute, 120000 token/minute. 相比之下token/minute并发差距不大, 但是request/minute差距是10倍.
多服务不共用同个并发限制：微软云官方回复
比如一个账户下，一个区域下部署3个服务都构建3.5的模型，3个服务就是部署3次了，各300就是900.