• Transformer作者之一Llion Jones联手前谷歌大脑科学家成立新公司-Sakana AI
  • 发布于 2个月前
  • 331 热度
    0 评论
今天,Transformer八位作者之一Llion Jones,联手前谷歌大脑科学家、Stability AI研究主管David Ha官宣成立新公司——Sakana AI。这家总部位于东京的初创公司,将要探索一种基于自然启发智能的新型基础模型。

Sakana这一名字,来源于日语さかな,即为「鱼」。他们的理念是,「让一群鱼聚集在一起,从简单的规则中形成一个连贯的实体」。更进一步,便是进化和集体智慧。目前来说,Sakana AI仍处于非常早期的阶段:没有构建AI模型,没有办公室,也并未透露融资的情况。不过,无论是公司理念,还是创业地点的选择,这家初创公司都透露出一丝另辟蹊径的意味。


抛弃Transformer,专注新模型

现在各家巨头的大语言模型都已经进化到超强了,为什么两位创始人还是要做自己的大模型?显然,他们有自己独特的想法。在Johnes和Ha看来,当前大语言模型的局限性在于,它们被设计成了脆弱、不可改变的结构,比如桥梁或建筑物。相比之下,在自然系统中,是集体智慧在发挥作用。这个系统对周围世界的变化非常敏感,会适应环境,并成为环境的一部分。


他们希望的正是使用这些进化计算原理构建AI模型,来解决系统的成本和安全性的问题。David Ha称,他们在在开发一种新型的人工智能模型,可以让机器学习工程师维护和监控的工作时间大幅降低。Sakana AI实验室并没有依赖于Jones对Transformer的突破性研究。人尽皆知,Transformer是OpenAI等科技公司使用的一种机器学习模型,已经在生成式AI上取得了巨大的效果。


对于Sakana AI,正如名字所示,联合创始人希望创建一种基于「自然启发智能」的新型基础模型。「自然启发的智能」可能听起来像是60年代斯托纳电影中的内容,但这一概念在人工智能研究中有着悠久的历史。Jones表示,这个想法是创造能够学习和搜索解决方案的软件,而不是必须一步一步地设计的软件。

像ChatGPT这样的人工智能模型容易越狱。为了防止这种攻击,开发⼈员必须手动更新模型。Llion Jones和David Ha设想让他们的模型适应环境。比如,Ha之前研究了「permutation-invariant神经网络」,即能够在困难情况下执行任务的人工智能模型。当部分视觉输入丢失或混乱时,仍旧能在模拟中驾驶汽车。


根据个人介绍,自然启发的智能一直是Ha职业生涯中的一个主题。除了在permutation-invariant神经网络方面的工作,他还尝试研究了世界模型,从周围环境中收集数据,建立⼀个类似于人类的环境心理模型。


踏入竞争激烈的战场
因此,Sakana AI将构建自己的生成式AI模型,用于生成文本、图像、代码及其他软件。这个赛道上竞争激烈之程度毋庸置疑,包括谷歌、微软这类巨头,以及OpenAI、Cohere、Character.ai和Anthropic等初创企业。不过,这个领域资金也非常充足。微软今年在OpenAI上投资了100亿美元,Cohere和Character.ai在过去几个月中也成功获得融资,估值分别达到了20亿美元和10亿美元。

为什么选择日本

不过,Sakana AI的总部设在日本,这个创业地点的选择多少有些不同寻常。创始人解释说,自己已在日本工作多年,之所以选择东京作为公司总部,部分原因也是因为构建生成式AI软件的市场竞争太激烈了,尤其是在北美。而东京拥有高质量的技术基础设施和受过良好教育的劳动力,这为AI公司的发展提供了得天独厚的条件。


「最重要的是,建立一个在非西方社会文化中表现良好的模型,围绕它训练数据,这将成为下一次技术突破的催化剂。」

另外,谷歌和其他公司的人工智能研究人员,最近将注意力集中在将现有技术进行商业化,这意味着更多前沿研究的空间越来越小。但为研究而研究是两位联合创始人在Sakana坚持的原则,也是他们决定将公司总部设在东京的原因之一。


两位创始人
David Ha
David Ha将担任Sakana AI的CEO。

2016年,David Ha加入谷歌大脑负责机器学习领域的工作。度过漫长的6年零4个月之后,他于2022年10月加入Stability AI担任研究主管。在此之前,他获得了东京大学的博士学位,以及多伦多大学的学士学位。有趣的是,今年6月从Stability AI离职之后,David Ha本人还曾发推吐槽表示「终于有时间睡个好觉了」。

Llion Jones
Llion Jones将担任CTO。
他最出名的代表作,那便是2017年和谷歌团队发表的「Attention Is All You Need」。Llion Jones是这八位作者中,最后一位离开谷歌的人。他的离去,标志着Transformer「变形金刚大解体」。

上个月,彭博最先爆料称Transformer仅剩的一位作者Llion Jones宣布7月底要离职谷歌自创业。当时,还未透露具体创业信息。不过,恰恰David Ha也转发了这一消息。

Jones表示:
离开谷歌并不是一个容易的决定,我与他们度过了非常精彩的十年,但是现在是尝试一些不同的事情的时候了。鉴于人工智能领域的势头和进展,现在是构建新事物的好时机。Llion Jones于2015年6月加入了谷歌,至今已经任职8年。此前他曾就职于YouTube、Delcam。

他曾在伯明翰大学取得了和计算机专业的学士和硕士学位。到目前为止,Jones的谷歌学术主页中, 引用最高的一篇文章当属17年横空出世的「Attention Is All You Need」,引用数81266。
用户评论