【ZiDongHua之创新&科技关键词摘要：中国科学报  ChatGPT  强化学习  人工智能  王金桥】 

ChatGPT敲开通用人工智能大门了吗 

中国科学报记者 赵广立

连日来，一路“狂飙”的ChatGPT持续引发“话题地震”。

作为由OpenAI训练的对话式大规模语言模型，ChatGPT能以对话的方式与人进行交互，回答之智能、流畅令人意外。据媒体报道，ChatGPT不仅能在短短几秒内响应人们的问题，还通过了美国部分高校的法律、医学考试，以及谷歌18万美元年薪的软件工程师入职测试。ChatGPT还会承认错误，质疑并拒绝不恰当的请求。

ChatGPT是否“过于”智能了?照此进化下去，人们会逐渐实现通用人工智能(AGI)吗?这是计算机学界最近热议的话题。

ChatGPT三大技术突破

“ChatGPT是目前为止最为强大的通用人机对话系统。”在接受《中国科学报》采访时，中科院自动化研究所研究员、“紫东太初”大模型研究中心常务副主任王金桥不无赞叹地说，“它也是继打败人类围棋冠军的AlphaGo之后人工智能(AI)又一重要突破，标志着以大模型为核心的智能计算范式的确立。”

王金桥认为，这背后主要基于三大技术突破——千亿级参数大模型、多任务统一编码、人类反馈的强化学习。

他解释说，ChatGPT无所不知，得益于大规模预训练语言模型GPT3.5的支持。GPT3.5拥有千亿级参数，在训练时使用了海量的人类在互联网上编辑生成的多种类文本数据集，因此可以对世界已有知识进行编码。ChatGPT一专多能，在于其实现了多任务统一编码。传统人工智能只能处理单一任务(如语音识别和人脸识别)，但ChatGPT不同，通过多任务统一编码，可实现一个模型做很多事。ChatGPT对答如流，是因为引入了人类反馈的强化学习(RLHF)。OpenAI的开发团队通过RLHF不断对ChatGPT模型进行微调。

正是基于这三大技术突破，ChatGPT得以像人一样对任意输入的问题做出非常流畅的回答，而且拥有文档概括、文本创作等多种能力。

一条通往AGI的路径？

ChatGPT的闪光点，不免让人们对AGI浮想联翩。

“从业10年有余，第一次觉得AGI不再是个‘时髦词’了。”2022年12月，ChatGPT甫一面世，浙江大学计算机学院青年研究员赵俊博就在个人微信朋友圈这样写道，“真没想到RLHF能做到这种程度。”

“它的推理能力、归纳能力、以语言为媒介展现出来的对世界常识的认知、多轮对话能力等，都值得肯定。”赵俊博认为，从技术上来讲，ChatGPT已经“不再是单纯的记忆大规模文本了”。

清华大学软件工程博士、北京智源人工智能研究院视觉方向研究员曹越，则在分析了ChatGPT背后存在“大规模语言模型+(人类反馈的)强化学习”的“循环”之后，“深切感受到好像真的找到一条通往AGI的路径了”。

“最让我惊艳的是，ChatGPT的上下文学习居然激活了简单的逻辑和加减法，而且指令调优RLHF和‘思维链’进一步强化了它在这方面的能力。”曹越说，现在的能力依然比较初级，但从0到1是最难的。

“如今，大规模语言模型通过‘预训练+RLHF’提供了一条路径，相当于一个有基础语言理解能力的模型进一步拟合人在语言生成方面的表现，同时拥有基础的逻辑能力，且在不断进化。”从ChatGPT联想到AGI，曹越提出另一个角度的思考。

王金桥向《中国科学报》直言，ChatGPT的出现被认为是AI实现AGI的重要标志，“打开了AGI的大门”。因为ChatGPT证明了AI在对世界知识进行编码后，可以把知识自动关联起来。

“这是语言模型的一个巨大突破，显现出强人工智能的影子。”王金桥说。ChatGPT的成功，表明增大模型和数据规模是突破现在AI技术应用瓶颈行之有效的方法，也标志着从以专用小模型训练为主的“手工作坊时代”向以通用大模型预训练为主的“工业化时代”AI研究范式的转变。

AGI道阻且长

论及ChatGPT是否指明了前往AGI的路径，学术界显然有不同看法。

有观点指出，ChatGPT的学习能力非常强大，但再强大也没有摆脱“大数据、小任务”的大样本被动学习模式。也就是说，它并没有任何主动思考、反思和判断，只是根据程序规则在飞速计算下完成任务。这个任务是凭借巨大的数据训练而生成的。

从这个角度看，ChatGPT在“机械地执行任务”，以至于时不时闹出一些“一本正经胡说八道”的笑话，这反映的是文本生成系统的可控性问题。赵俊博表示，根据目前信息来看，ChatGPT还没有解决这个问题。

华为公司人工智能高级研究员谢凌曦表示，当前的智能体还没有学会复杂逻辑，也就不太可能推理出数据库里没有的知识。因此，他对ChatGPT找到了通往AGI的道路的说法“持保留意见”。

“我更加倾向于ChatGPT是一个信息收集和归纳的AI，在逻辑层面比较薄弱。”谢凌曦说，在逻辑更复杂甚至需要多轮推理的情况下，当前(即使使用了RLHF)的训练范式，对于数据的利用效率仍然太低，以至于AI难以完成稍微复杂的推理任务。

“RLHF确实开辟了新的路线。”谢凌曦认为，ChatGPT的一些任务结果总给人一种假象，“感觉AI学到了一种比较讨巧的方法，能够让这些AI训练师‘简单地满意’”。换句话说，如果人们不太深究的话，AI的回答“看起来还不错”。

“当然，ChatGPT已经比之前许多AI都好了。我们只是需要再次理解AGI是多么困难的任务，道阻且长。”谢凌曦说道。

多模态感知的AI有望更“类人”

从更高的技术角度，谢凌曦作出了进一步分析。自然语言处理(NLP)领域的发展，主要是抓住了自然语言的特征空间相对简单的性质。因而，在大数据的加持下，通过互联网收集到的数据覆盖了整个空间足够大的比例，能使算法跨越“过拟合会产生危害”这条线。也就是说，即使模型是在过拟合训练数据，也完全看不出问题。但这种模式套在其他领域不一定行得通，比如视觉的特征空间复杂得多，不仅有无限细粒度可划分的语义概念，还有远超NLP的“领域鸿沟”。至少在短期内，计算机视觉的发展很难复刻诸如ChatGPT的(AI在NLP的)成功方式。

王金桥也认为，ChatGPT是有局限性的。“ChatGPT只是一个单纯的语言文本模型，但现实世界中不只有文本，还有声音、图片等多种模态。”他说，因此多模态的感知理解是一种更重要的趋势，更有望实现类人的智能融合。

这正是王金桥所在的研究团队将攻关重心放在多模态大模型领域的重要原因。2021年，中科院自动化研究所推出了全球首个千亿参数多模态大模型“紫东太初”，致力于实现图像、文本、语音3个模态数据之间的“统一表示”与“相互生成”，使AI的理解和生成能力更接近人类。

“基于‘紫东太初’开发的虚拟人‘小初’是一个对话系统，同样拥有问答、对话、文档概括、文本创作等多种能力，但跟ChatGPT不太一样，我们的系统更多是对图像、文本、语音3个模态的融合交互。”王金桥说，未来他们计划在此基础上加入RLHF，使之更好地捕获人的意图。

《中国科学报》 (2023-02-22 第3版 领域)