• 谷歌正式启用5400亿参数PaLM增强Bard
  • 发布于 2个月前
  • 514 热度
    0 评论
3月31日,谷歌首席执行官Sundar Pichai接受了,《纽约时报》科技专栏作家Kevin Roose和知名新闻记者Casey Newton的的专访。详谈了谷歌最近公测的类ChatGPT聊天机器人Bard,以及面对ChatGPT的一系列强势攻势,谷歌该如何反击等。

Pichai在采访中还否认了所谓的“谷歌红色代码”事件。Pichai表示,我们在2015年就开始布局AI,希望通过AI的方式重塑工作、娱乐等,但经过长时间的发展普通用户对AI的接受有限,一直处于沉寂阶段。

ChatGPT的出现提起了全球用户对AI的使用欲望,使得生成式AI在商业化落地等迎来了最令人激动的时刻。同时这也提起了Larry Page和Sergy Brin(谷歌创始人)的极大兴趣,他们很久之前就认为AI将改变未来的一切。所以,我们集中了谷歌内部多数资源开始发力生成式AI。

在访谈的过程中Pichai表示,谷歌启用了拥有5400亿参数的大语言模型PaLM,来增强Bard的数学能力、逻辑推理能力等,与ChatGPT展开激烈竞争。而Bard的产品经理Jack Krawczyk于3月31日,在社交平台中正式公布了这一消息。

ChatGPT是基于Open AI GPT-3.5系列模型开发,参数为1750亿,而Plush版本是基于GPT-4研发,Open AI并没有公布详细的参数和训练数据。但外界猜测,根据GPT-4多模态功能推算,其参数至少在4000亿左右。

之前,Bard是基于谷歌1370 亿参数LaMDA进行了轻量级开发,但是在内容理解、生成、反馈等方面很不理想,甚至在召开产品新闻发布会时出现了致命错误,使得谷歌母公司Alphabet的股价遭受重创。现在,谷歌将目前最强大语言模型之一PaLM全面增强Bard看、说、写的拟人化能力。

Pichai在采访中表示,出于安全、信任、隐私等多方面考虑,推出Bard时是基于LaMDA轻量版开发而成,这是一个较小的模型整体功能有限。但随着GPT-4模型的出现,我们觉得有必要升级Bard与其展开竞争。因此,将使用PaLM模型增强Bard功能。

据悉,PaLM在推理、数据计算、代码生成方面非常出色。PaLM首次大规模使用Pathways 系统将训练扩展到 6144 个芯片,这是迄今为止用于训练的最大的基于TPU的系统配置。同时PaLM实现了57.8%的硬件FLOPs利用率的训练效率,这是大语言模型在此规模上达到的最高水平。

PaLM使用英语和多语言数据集的组合进行训练,这些数据集包括高质量的网络文档、书籍、维基百科、对话和 GitHub 代码等。PaLM还创建了一个“无损”词汇表,保留所有空格(对生成代码很重要),将词汇外的 Unicode 字符拆分为字节,并将数字拆分为单独的标记,每个标记一个。

PaLM在几个BIG-bench任务上展示了令人印象深刻的自然语言理解和生成能力。例如,该模型可以区分因果关系,理解适当上下文中的概念组合,甚至可以根据表情符号猜测电影。此外,Pichai还谈到了最近马斯克等人发起的暂停6个月比GPT-4更强大语言模型训练,他认为,对AI的发展进行有效监管是必须的。

例如,斯坦福大学的Paul Berg等人在70年代发现了重组DNA,可以通过人为的方式改造DNA遗传,这在当时引起了巨大轰动。随后这引起了伦理道德等诸多方面的问题,并对该技术进行了监管。

Pichai强调,在AI技术竞争的过程中,安全、隐私、有效控制永远是排在功能前面的,是最重要的一部分。谷歌会在安全、可控范围之内,逐步增强Bard的功能。
用户评论