据 The Crunch 报道,OpenAI 近日推出的 o3/o4-mini 虽然在多方面有了不小的进步,然而新模型在「幻觉」内容(虚构的内容)方面,相较于旧模型会产生更多。报道指出,据 OpenAI 的内部测试,o3 和 o4-mini 两款新模型比 OpenAI 此前的推理模型(o1、o1-mini、o3-mini)以及传统的「非推理」模型,都更容易产生幻觉。
报道还表示,更令人担忧的是连 ChatGPT 的开发人员都不知道为何会这样:
OpenAI 在 o3/o4-mini 的技术报告中表示,需要更多的研究内容来了解「为什么随着推理模型的发展,反而幻觉情况反而更糟糕」这一问题。报道指出,尽管 o3/o4-mini 在编程和数学等方面优于以往的模型,但由于模型输出的答案总量增加,导致其会给出更多准确的判断,同时也不可避免地出现更多错误的内容甚至是「幻觉」。
在 OpenAI 设计的内部基准测试 PersonQA(用于衡量模型对知识准确性的基准测试)中,o3 出现幻觉的比例达到 33%,约是前代推理模型 o1(16%)和 o3-mini(14.8%)的两倍。在同一基准测试中,o4-mini 的表现更差,幻觉率高达 48%。
另据第三方机构 Transluce 的测试,o3 在回答问题时经常会编造出某些「过程操作」。据一次测试显示,o3 声称自己在一台 2021 款 MacBook Pro 上通过「ChatGPT 之外」的方式运行了生成的代码,并将结果复制到答案中。但事实上,o3 只是拥有一部分工具的访问权,但并不具备执行操作的能力。
另据斯坦福大学兼职教授 Kian Katanforoosh 告诉 TechCrunch,其团队测试 o3 的编程能力时发现,o3 经常会援引错误的网站链接,提供的网站实际上是不存在的。