• Grok-1.5 Vision亮相 真实世界理解能力超过了GPT-4V
  • 发布于 1个月前
  • 72 热度
    0 评论
  • Dock
  • 0 粉丝 40 篇博客
  •   
4月13日,马斯克旗下的AI公司x.ai在官网展示了,Grok-1.5 Vision的众多亮点功能。与上一代1.0开源版本相比,Grok-1.5与GPT-4一样加入了Vision视觉功能可以深度理解真实世界,并进行数据解读、转换等。例如,给出一张蒙娜丽莎的图片,让其讲解该图片的来历以及故事等。

根据x.ai公布的测试数据显示,Grok-1.5 V的真实世界理解能力超过了GPT-4V、Claude 3 Opus 、Gemini Pro 1.5等知名多模态模型。x.ai表示,Grok-1.5 V将很快向早期的测试者和现有Grok 用户推出。

Grok-1.5 V能力展示
用户可以向Grok-1.5 V发送一张图片,然后基于该内容进行文本问答。例如,让Grok-1.5 V解读一下职场非常有名的两张图片。

Grok-1.5 V:这张图是初创公司和大公司之间的幽默比较。在左侧,标有“初创公司”的标签上,有一群人正在一起挖坑。他们都在积极参与,坑已经相当深了。在右侧,标有“大公司”的标签上,一群人站在一个洞周围。然而,与初创公司不同的是,实际上只有一个人在挖坑,而其他人则在观看或从事其他活动。

这张图片中的幽默来自于对初创公司和大公司之间差异的夸大。在初创公司中,通常会有一种紧迫感,每个人都被期望直接为手头的任务做出贡献。相比之下,大公司通常被描述为官僚主义较多,所有团队成员对每个项目的直接参与较少。

Grok-1.5 V基本很好的解读了这张图片的物理信息以及内涵的职场问题。Grok-1.5 V不仅能解读信息,还能进行数据转换,例如,将一张表格转换成csv格式。

Grok-1.5 V也能将一张草图直接转换成真实的代码:你能把这张图片翻译成Python代码吗?

Grok-1.5 V:这个流程图描述了一个简单的猜谜游戏,其中计算机生成一个随机数,用户必须猜测它。下面是代表流程图中逻辑的 Python 代码。

此代码将按照流程图中的描述运行猜谜游戏。系统将提示用户输入他们的猜测,直到他们猜出正确的数字。

Grok-1.5 V测试数据
研究人员将Grok-1.5V在MMMU、Mathvista、TextVQA、RealWorldQA等知名测试平台中,与GPT-4V、Claude 3 Sonnet、Claude 3 Opus和Gemini Pro 1.5同类竞品进行了综合对比。结果显示,Grok-1.5V的数学、图表理解、真实世界理解和文本阅读的能力高于其他模型。

此外,Grok-1.5还能处理更长、更复杂的提示,同时随着上下文窗口的扩大,仍能保持其指令跟踪能力。在之前公布的 "大海捞针"(Needle In A Haystack,NIAH)评估中,Grok-1.5展示了强大的检索能力,可检索长度达 128K 字节的上下文中的嵌入文本,并取得了完美的检索结果。
用户评论