全局批处理 GA
Azure OpenAI 全局批处理现已正式发布。
Azure OpenAI Batch API 设计用于高效处理大规模和大容量处理任务。处理具有单独配额的异步请求组,目标周转时间为 24 小时,成本比全局标准低 50%。使用批处理,你可以在单个文件中发送大量请求,而不是一次发送一个请求。 全局批处理请求具有单独的入队令牌配额,避免对你的在线工作负载造成任何中断。
关键用例包括:
1、大规模数据处理:并行快速分析广泛的数据集。
2、内容生成:创建大量文本,例如产品说明或文章。
3、文档审查和总结:自动执行对长篇文档的审查和总结。
4、客户支持自动化:同时处理大量查询,以提高响应速度。
5、数据提取和分析:从大量非结构化数据中提取和分析信息。
6、自然语言处理 (NLP) 任务:对大型数据集执行情绪分析或翻译等任务。
7、营销和个性化:大规模生成个性化内容和建议。
o1-preview 和 o1-mini 模型受限访问
o1-preview
和 o1-mini
模型现在可用于 API 访问和模型部署。需要完成注册,并且会根据 Microsoft 的资格条件授予访问权限。
请求访问:受限访问模型应用程序
已经获得批准并可以通过早期访问操场来访问模型的客户无需再次申请,将会自动被授予 API 访问权限。被授予访问权限后,你需要为每个模型创建部署。
API 支持:
API 版本 2024-09-01-preview
中添加了对 o1 系列模型的支持。
max_tokens
参数已弃用,并替换为新的 max_completion_tokens
参数。o1 系列模型仅可使用 max_completion_tokens
参数。
区域可用性:
这些模型可用于“美国东部 2”和“瑞典中部”的标准和全球标准部署,供批准的客户使用。
适用于语音和音频的新 GPT-4o 实时 API 公共预览版
Azure OpenAI GPT-4o 音频是 GPT-4o 模型系列的一部分,该系列支持低延迟的“语音传入,语音传出”对话交互。GPT-4o 音频 realtime
API 旨在处理实时、低延迟的对话交互,非常适合涉及用户与模型之间的实时交互的用例,例如客户支持代理、语音助理和实时翻译。
gpt-4o-realtime-preview
模型可用于美国东部 2 和瑞典中部地区的全局部署。
全局批处理支持更新
全局批处理现在支持 GPT-4o (2024-08-06)。
ERTI尔提科技作为微软合作伙伴,为企业提供Azure OpenAI服务,请联系我们,抢先体验Azure OpenAI更新后的强大功能!