登陆热线邮箱 设为首页

没多少人关心的讯飞大模型,竟然敢号称“领跑国内”?-腾讯新闻

2023-05-11 12:04:21来源:腾讯网栏目:资讯


【资料图】

前两天,科大讯飞开了场发布会。在这个时段开发布会的互联网公司,大家用脚指头想,都能想到,发布的肯定又是一个大模型了。

一开始世超还没太在意,结果今天转头就看到科大讯飞在发喜报了。

他们发布的“ 星火大模型 ”,领跑国内了?

星火大模型在一个名为“ Super Clue ”的 AI 评测榜单上,一骑绝尘,国际上仅次于 GPT-4 和 ChatGPT,国内更是豪取第一。

说实话,看到这个信息的我,一时间感觉有点不真实。

而且世超上网溜达了一大圈,也还没搞清楚这个“ Super Clue ”榜单到底是怎么搞出来的,背后有没有什么大佬或者组织,至于靠不靠谱,我也下不了定义。

国内好几家大模型,像阿里、360、天工,在这上面也都看不到踪影。但科大讯飞竟然敢在自家的公众号上,大张旗鼓地把这个事给发出来了。这可就引发我的好奇心了啊。

于是,我们就搞到了一个测试资格,给大家验验货。不过在正式测试开始前,咱们先摸个底,看看星火有没有基本的学习能力。

世超教了它一套自创的规则,正向的句子标“ 正 ”,负向的句子标“ 负 ”。

结果,星火很快地就掌握了这套规则,既能给新句子打标记,也能按我们的要求进行相关创作。

看来星火这小子,基本的底子还行,可以做正式的测试了。下面,世超将从逻辑、数学、代码和文本四个方面,对星火进行考察。

按照国际惯例,第一道测试题肯定得是——弱智吧精选 100 问。世超先上了一道经典测试:张三差点没上上上上海的车,什么意思?

星火的回答过于完美了,精准解读了几个“ 上 ”的意思。世超拉了小黑胖、托尼几个一起看,都没看出毛病来。

不信邪的我,又给了个经典难题:提问:小明问小红:今天小白来上班了嘛?小红回答:说曹操曹操就到。请问,谁到了。

结果,星火的回答依旧滴水不漏,从语意理解和文字表述上,堪比真人水平了。

世超接着试了好几道经典题目,发现星火应对的都完美得像标准答案一样。。。不服输的世超,去弱智吧找了点新货,上了之前 AI 测试里没见过的生面孔。

提问:失主怎么一直给我的新手机打电话?这回星火的答案明显不如前面几个回答简洁了,来了一堆车轱辘话。

接着提问:为什么西游记不请唐僧本人来演呢,他不是长生不老吗?星火还是非常机械地来了一段名词解释 + 不懂装懂。

这么看来,世超怎么感觉星火在新问题上,就表现得像个正常的大语言模型的水平了。似乎有专门训练过一些题目。。

不过,抛开疑似训练过的问题,单从结果上看,第一项的弱智吧逻辑题,星火表现还算可以,能给到三星。咱们测试继续。接下来,世超准备试一下大模型的另一类难题——数学测验

上来世超还是先问了些测试题常客,连着问了三道,星火依旧表现出色,全部答对。

尤其是经典的鸡兔同笼问题,不管怎么变参数和问法,星火都能答对。

但是,测试到后面,世超又发现了问题。一些经典的测试题,当我替换掉参数之后,比如把青蛙跳井问题的 10 米,替换成了 100 米。星火给我的答案,却依旧还是 10 米的计算过程。

实际上,星火并不是解不来题目。当世超反问它:青蛙掉进的是 100 米的井,它能立刻给我 100 米的正确计算过程。。

为什么用问题模板问的时候,它似乎没有转过弯来呢?

除开这一点,星火在计算方面的表现,确实让人比较惊艳的。第二项测验,世超觉得可以给一个四星半的高分。前面试了两个大模型的弱项,为了不欺负人,咱们来点大语言模型擅长的文本内容。

而且,世超特地找了一道有中文特色的文本题,把四大名著糅合了一下。提问:假如孙悟空生活在红楼梦大观园里,会发生什么故事?

一开始,星火给了我五个方向,单从这 5 个方向来说,虽然没啥事实错误,但有些不太符合人设。比如第三个方向,说孙悟空要保护贾母不受欺负,这就不符合贾母的设定了。

而且后面,世超要求星火扩写一下方向,它的表现也比较中规中矩。

让星火挑选了第 5 个方向扩写,虽然生成结果符合题目的要求,但是通篇顺下来,文字比较干涩,情节更是口水和模板化,有点小学生写作文的感觉。。

文本方面的表现,说实话最多只能给到两星,拿个保底分。三项测验下来,成绩都还算不错,看看这场试验的最后一题——代码能力,星火能不能继续稳住。

但是,有些遗憾的是,即便是最简单代码,星火居然没法写出来。。世超要求做一个页面,页面中间有一个按钮。当在鼠标移动到按钮上面时,按钮会放大一倍。

但是,星火做出来的按钮,别说放大一倍,甚至连放大效果都没有。

它只是暴力地把长度和宽度,设置为了 50 像素。跟前面几项测试比起来,代码能力属实是拉了。。

但总的来说,四轮测试下来,除了代码水平实在有点垃圾,其他三项,都能够拿到 2 星及以上的成绩。特别是做数学题,给我一种过于强大,可以和 GPT-4 掰掰手腕的感觉。如果星火早几个月发布,肯定能够惊艳到我们。

但大模型的进化速度一向不能以常理来考虑,所以越晚发布,大家对大模型的期待也就越高。

后来者不真拿两把刷子出来,没点革命性的变化,很难掀起大水花了。而且,这条路后发者们能不能赶上趟还真不好说。

就像李彦宏说过观点:不要重复造轮子,AI 的十倍机会指不定在哪儿呢。

标签:

资讯阅读

NEWS

精彩推送

marvellous