• ‌OpenAI旗下Jev竞品全面开放公测,决策类大模型赛道竞争持续升温
  • 发布于 1小时前
  • 6 热度
    0 评论
堆代码网讯 OpenAI首次面向全量用户正式开放旗下Decisions API模型,正式入局高速低成本智能决策赛道。此前该赛道的创业公司TypeSafe,由前前沿实验室研究员创立,凭借Jev系列模型估值已飙升至76亿美元。TypeSafe推出的Jev模型开创了深度学习全新品类——超级分类器:给定一组可选选项,模型可快速完成决策输出,同时给出对应决策的置信度评分。开发者很快发现,这类决策类「系统1」模型可在大量工作流中替代通用大语言模型,运行速度大幅提升,推理成本也显著降低。

OpenAI API产品线负责人Nikunj Handa在接受TechCrunch采访时表示,团队看到Jev的表现后第一反应是“这东西能适配我们上百万个业务场景”,随后便快速迭代推出了自家同类产品。团队没有从零训练专门校准的决策模型,而是基于ChatGPT Luna进行架构重构,针对性优化推理速度、大幅降低调用成本。

“Decisions API最核心的突破就是速度,把原本1-3秒的响应时长压缩到了100、120甚至180毫秒级别”,Handa介绍道,“未来我们会针对决策场景做专项训练进一步优化表现,但目前版本完全基于原生Luna改造,已经能满足绝大多数场景需求。”

这款产品于9月29日OpenAI开发者日首次官宣,上周四正式面向所有客户开放全量访问。公开版本新增了语音、视觉多模态支持,同时通过全球分布式推理资源调度,大幅降低了各区域用户的访问延迟。在Box、Datadog、Ramp、Speak等首批客户的测试中,工程师直接用该API替换原有OpenAI通用大模型,实现了数倍的吞吐量提升。AI语言学习平台Speak的CTO Andrew Hsu表示,接入Decisions API后,产品端用户操作的响应间隔从1.4秒直接压缩到了0.13秒。OpenAI自身也用这款产品优化了旗下Dots语音助手的响应流畅度。

目前行业内尚未形成统一的决策模型评价标准,不同工作负载对智能度、成本、置信度校准、速度的优化优先级差异极大,适配自身业务需求就是最优解。TypeSafe CEO Diogo Almeida并不信任通用基准测试,呼吁开发者在自有业务场景中实测验证模型表现,但即便如此,TypeSafe上周也在发布搭载图像支持、智能条件判断等新特性的新版Jev模型时,同步推出了自家的模型排名榜单。

AIM System One Index、Artificial Analysis Decision Index这类公开基准测试榜单中,Liquid上周新发布的D1 Ultra、Base Lab的Elephant-1两款决策模型表现突出,新版Jev在两个榜单中分别位列第七、第三,仍保持第一梯队竞争力,OpenAI的决策模型则分别排在第八、第十四位。不过目前TypeSafe的产品仍是OpenRouter平台上调用量最高的决策类模型。

最具趣味性的Jev相关基准测试当属JevMan,该测试让决策模型直接运行经典游戏《吃豆人》,最新版Jev模型在该榜单中登顶。该测试的开发方Opper AI的首席增长官Felix Wunderlich表示,这款经典游戏是非常理想的测试场景,全程需要模型持续输出高优先级快速决策,每一个岔路口都要求模型在数百毫秒内完成路径判断。Handa向TechCrunch透露,OpenAI的决策模型在多模态场景下具备独特优势,尤其是图像分类任务中,Luna的能力底蕴极强,输出的置信度校准表现更出色,同时大量用户也在反馈,希望Decisions API后续能支持直接生成图像输出。

Handa还表示,未来速度的进一步突破将解锁更多全新场景:“如果我们能把响应延迟压缩到60毫秒,完全可以实现针对视频每一帧画面的实时API调用。”

随着这类决策模型变得越来越快、调用成本越来越低,它们终将印证Jev命名的来源——那位经济学家提出的核心理论:资源使用效率的大幅提升,会让该资源快速渗透到无处不在的各类场景中。正如Handa所说,未来会有大量此前被忽略的“海量全新使用场景”,随着决策模型的成熟被彻底挖掘出来。
用户评论