登陆热线邮箱 设为首页

英伟达黄仁勋对话OpenAI首席科学家:GPT-4在推理能力上未达预期水平

2023-03-23 18:57:25来源:搜狐科技栏目:数码

出品 | 搜狐科技

作者 | 尹莉娜


(资料图片仅供参考)

ChatGPT的诞生,算力和算法必不可少又相辅相成。近日,这两项技术背后的大佬公开对谈,迅速成为了行业关注的焦点。

北京时间3月23日凌晨,英伟达创始人兼CEO黄仁勋与OpenAI联合创始人及首席科学家伊尔亚·苏茨克维(Ilya Sutskever)针对最新推出的GPT-4进行了一场对话,谈及了它的进步、局限和未来。

基于GPT-3.5的ChatGPT推出百余日,大众的讨论热度仍未散去,其母公司OpenAI就旋即推出了更为强大的人工智能模型GPT-4,进一步引爆舆论。

苏茨克维透露,对GPT-4的训练大概是从6-8个月之前开始的。相比于GPT-3.5,GPT-4在多模态学习领域有所进步。“目前,GPT-4已经能够从图片中进行学习,并且根据图片内容的输入进行反馈。”

举例来说,在一些数学竞赛上(像高中数学竞赛),很多问题是需要图表来解答的。苏茨克维表示:“GPT-3.5对于图表的解读做得特别差,而GPT-4在准确率上就有了很大的提升。”

在苏茨克维看来,多模态学习极具重要性,因为整个世界是由“图片”形成的。“人也是视觉动物,人脑1/3的灰质都是用来处理图像的,GPT-4需要能够去理解这些图像。”

不过,他也认为,通过图片或文字对世界的理解是一样的。

“通过计算,我们得出的结论是,人在一生之中可能只会说10亿个词。如果我们用一个十亿级词汇(的模型)无法理解的话,可以用万亿级的词汇(的模型)来理解。我们对于世界的知识和信息,可以通过文本慢慢渗透给AI的神经网络。叠加视觉图片等更多的元素,神经网络才能更精准地学习。”

除此之外,因为有更好的神经网络帮助预测,GPT-4在预测下一个单词,即推理能力上也拥有更好的精准度。

他举例称,比如说你在读一篇推理小说,小说中有各种不同的人物和情节,人们往往不清楚接下来会发生什么。通过小说不同的人物和情节,可以预测凶手有几种可能性,GPT-4所做的内容就像一本推理小说一样。

在谈到GPT-4的惊艳之处时,苏茨克维表示,神经网络有时会误解问题,但这在GPT-4上很少发生了。“ChatGPT能够写诗,既可以写押头韵的诗,也能够写押尾韵的诗,并且它能够去解释笑话。简而言之,就是它的可靠性更好了。”

苏茨克维感叹:“我也经常会疑惑,这些神经网络是如何去成长如此之迅速的?我们是不是需要(对它有)更多的培训?它是不是会像人脑一样不断成长?这让我感觉到它的伟大,或者说让人感到特别惊讶的方面。”

这也引发了关于AI是否会在未来失控的问题。黄仁勋提出了疑问:“能不能让AI不做某些事情比如告诉AI界限在哪里?”

苏茨克维表示,我们对AI训练得越多,AI的忠诚度和准确度就会越高,且越来越符合人类社会的逻辑。

不过,GPT-4仍有其局限性。苏茨克维认为,挑战在于如何“让神经网络打破固有的思维模式”。这决定神经网络到底走多远、具备多大潜力。

同时,苏茨克维也坦承,GPT-4在推理上的表现“确实还没有达到我们之前预期的水平”。“如果我们更进一步扩大数据库,保持过去的商业运转模型,它的推理的能力会进一步提高,我对此有信心。”

标签:

资讯阅读

NEWS

精彩推送

marvellous