[Meonibeoseu]Transformer开发核心人物的转型
《Attention Is All You Need》论文作者参加英伟达GTC 2024“Transforming AI”专题环节并合影。右起第三位为Jakob Uszkoreit,第五位为英伟达首席执行官Jensen Huang。英伟达供图
View original image《你所需要的一切就是注意力》(Attention Is All You Need)是Jakob Uszkoreit等8名谷歌研究人员于2017年在神经信息处理系统大会上发表的论文标题。这个标题戏仿了披头士歌曲《你所需要的就是爱》(All You Need Is Love)。
论文探讨的是以自注意力为核心的Transformer架构。自注意力是指计算构成句子的词语彼此之间的关系,并在处理每个词语时,按照重要程度纳入其他词语的信息。Transformer是一种将自注意力作为核心要素的神经网络。此前广泛使用的循环神经网络按顺序处理词语,并将先前输入的信息传递到下一阶段。因此,文本越长,就越难保留和利用此前的信息。相比之下,Transformer利用自注意力直接计算相距较远的词语之间的关系,并行处理多个词语。这种架构有利于大规模训练。Transformer与英伟达图形处理器(GPU)等强大的并行计算能力相结合,推动了GPT等大型语言模型(LLM)的发展,并在此基础上诞生了ChatGPT。
Uszkoreit生于1982年,曾在德国柏林工业大学攻读计算机科学和数学。他的父亲Hans Uszkoreit研究的是计算语言学,即让计算机处理语言的学科。据《英伟达的Jensen Huang:思考的机器》一书介绍,Uszkoreit原本想从事与生物学相关的计算机领域工作,但2008年加入谷歌后,开始对父亲所研究的语言处理领域产生兴趣。
在思考如何利用人工智能(AI)开展读写能力教育时,我忽然想知道Uszkoreit近况如何。他于2021年离开谷歌,共同创立了Inceptive,目前担任这家公司的首席执行官(CEO),带领团队利用AI研发RNA新药。他回到了最初感兴趣的生命科学领域。
语言和RNA有着共同之处。句子是由词语按照一定顺序排列而成的结构,而RNA则由腺嘌呤(A)、尿嘧啶(U)、鸟嘌呤(G)和胞嘧啶(C)四种碱基排列而成。正如词语的含义会受到其与其他词语关系的影响,RNA的功能也会受到碱基排列方式及碱基间相互作用的影响。借助AI,可以从众多能够生成同一种蛋白质的碱基序列中,寻找有望改善RNA稳定性和蛋白质生成效率,并适当调节免疫反应的候选序列。
Inceptive正将这一方法应用于RNA疗法设计技术的研发。今年6月,该公司与RNA疗法专业企业Alnylam签订了共同开发协议,约定根据未来研发成果,最高可获得20亿美元。
投身新药研发的AI研究人员不在少数。但作为Transformer开发的核心人物,Uszkoreit的转型格外引人关注。期待在我再次好奇他的近况之前,就能传来他的成果。
Baek Woojin,经济专栏作家
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。