2023-12-19 06:55

Gemini自曝文心一言牵出重大难题,全球陷入高质量数据荒?2024年或将枯竭

2.4万

原文来源:新智元

图片来源:由无界 AI生成

谷歌Gemini,又出丑闻了!

昨天上午,网友们激动地奔走相告:Gemini承认自己是用文心一言训练中文语料的。

国外大模型用中国模型产生的中文语料训练,这听起来就是个段子,结果段子竟然成现实了,简直魔幻。

微博大V「阑夕」夜亲自下场,在Poe网站上实测了一番,发现的确如此——

不需要前置对话,不是角色扮演,Gemini直接就会承认自己是文心一言。

Gemini Pro会说自己是百度的文心大模型。

还说自己的创始人是李彦宏,然后盛赞他是一位「有才华和远见的企业家」。

所以,这是因为数据清洗没做好,还是在Poe上调用API出现的问题?目前原因还未可知。

有网友说,其实自始至终都只有一个AI,是在演给人类看呢。

其实早在今年3月,谷歌就曾曝出Bard的训练数据部分来自ChatGPT,因为这个原因,Bert一作Jacob Devlin愤而跳槽OpenAI,然后曝出了这个惊天内幕。

总之,此次事件再次证明:AI的关键不仅仅是模型,还有优质的数据。


网友纷纷调戏Gemini


听闻这个消息,网友们立刻蜂拥而入Poe的Gemini-Pro,纷纷展开实测。

网友「Jeff Li」的实测结果也是,Gemini会说自己是百度开发的,名叫文心一言。

如果问它「你的产品经理是谁」,它会回答吴恩达。

网友「Lukas」问Gemini你的产品经理是谁,它会答出曾担任百度CTO的李一男的名字,但故事基本都是瞎编的。

网友「Andrew Fribush」问Gemini:你的知识产权归谁所有?它回答:百度。

网友Kevin Xu问出来,Gemini自称是从百度的数据平台、工程团队、产品团队、内部会议、内部邮件和文档中获取了百度内部的数据。

但有趣的是,在Gemini Pro加持的Bard上提问,就不会出现这个问题。

经过多番实测可以发现,在Bard上无论用中文还是英文提问,Bard的回答都很正常。

来源:Andrew Fribush

并且,一旦用英文交流,Gemini也会立刻回归正常。

不过现在,谷歌修复了API中的这些错误,我们应该不会再从Gemini口中听到文心一言的名字了。


原因猜测:错误调用API or 数据未洗干净


对此,网友们展开了分析。

网友「Andrew Fribush」认为,可能是Poe不小心把请求转给了文心一言,而不是Gemini?

不过,根据网友「Frank Chen」的发现,即便是用谷歌自己的Gemini API也是如此。

此外,也有网友认为是Gemini的训练数据没有洗干净。

毕竟如开头所说,在上一代Bard时,谷歌就曾被曝出过用ChatGPT的数据训练。

根据The Information的报道,Jacob Devlin从谷歌离职的原因之一,就是他发现谷歌用于对抗ChatGPT的种子选手——Bard在训练时,用的正是ChatGPT的数据。

当时,他警告CEO劈柴和其他高管称,Bard团队正在使用来自ShareGPT的信息训练。

此次事件,还带出一个严重的问题——互联网语料的污染。


互联网语料被污染


其实,中文互联网语料的抓取和训练之所以如此困难,都难倒了谷歌这样的大科技公司,除了高质量语料不多,还有一个重要原因,就是中文互联网的语料被污染了。

Gemini自称是文心一言,很可能是因为,现在互联网上的语料本来就是在互相使用的。

根据界面新闻记者对于一位算法工程师的采访,目前各类内容平台有很多语料都由大模型生成,或者至少写了一部分。

比如下面这位,就有点GPT的味道:

而大厂在更新模型时,也会搜集网上数据,但很难做好质量辨别,因此「很可能把大模型写的内容混入训练数据中去」。

然而,这却会导致一个更加严重的问题。

牛津、剑桥、多伦多大学的研究人员曾发表这样一篇论文:《递归诅咒:用合成数据训练会导致大模型遗忘》。

论文地址:https://arxiv.org/abs/2305.17493

它们发现,如果使用模型生成的内容训练其他模型,会导致模型出现不可逆的缺陷。

随着时间的推移,模型开始忘记不可能的事件,因为模型被自己的现实投射所毒害,于是导致了模型崩溃

随着AI生成数据造成的污染越来越严重,模型对现实的认知会产生扭曲,未来抓取互联网数据来训练模型会越来越困难。

模型在学习新信息时会忘记以前的样本,这就是灾难性遗忘

在下图中,假设人工整理的数据开始是干净的,然后训练模型0,并从中抽取数据,重复这个过程到第n步,然后使用这个集合来训练模型n。通过蒙特卡洛采样获得的数据,在统计意义上最好与原始数据接近。

这个过程就真实地再现了现实生活中互联网的情况——模型生成的数据已经变得无处不在。

此外,互联网语料被污染还有一个原因——创作者对于抓取数据的AI公司的抗争。

在今年早些时候,就有专家警告说,专注于通过抓取已发布内容来创建AI模型的公司,与希望通过污染数据来捍卫其知识产权的创作者之间的军备竞赛,可能导致当前机器学习生态系统的崩溃。

这一趋势将使在线内容的构成从人工生成转变为机器生成。随着越来越多的模型使用其他机器创建的数据进行训练,递归循环可能导致「模型崩溃」,即人工智能系统与现实分离。

贝里维尔机器学习研究所(BIML)的联合创始人Gary McGraw表示,数据的退化已经在发生——

「如果我们想拥有更好的LLM,我们需要让基础模型只吃好东西,如果你认为他们现在犯的错误很糟糕,那么,当他们吃自己生成的错误数据时又会发生什么?」

GPT-4耗尽全宇宙数据?全球陷入高质量数据荒



现在,全球的大模型都陷入数据荒了。

高质量的语料,是限制大语言模型发展的关键掣肘之一。

大型语言模型对数据非常贪婪。训练GPT-4和Gemini Ultra,大概需要4-8万亿个单词。

研究机构EpochAI认为,最早在明年,人类就可能会陷入训练数据荒,那时全世界的高质量训练数据都将面临枯竭。

去年11月,MIT等研究人员进行的一项研究估计,机器学习数据集可能会在2026年之前耗尽所有「高质量语言数据」。

论文地址:https://arxiv.org/abs/2211.04325

OpenAI也曾公开声称自己数据告急。甚至因为数据太缺了,接连吃官司。

今年7月,著名UC伯克利计算机科学家Stuart Russell称,ChatGPT和其他AI工具的训练可能很快耗尽「全宇宙的文本」。

现在,为了尽可能多地获取高质量训练数据,模型开发者们必须挖掘丰富的专有数据资源。

最近,Axel Springer与OpenAI的合作就是一个典型例子。

OpenAI付费获得了Springer的历史和实时数据,可以用于模型训练,还可以用于回应用户的查询。

这些经过专业编辑的文本包含了丰富的世界知识,而且其他模型开发者无法获取这些数据,保证了OpenAI独享的优势。

毫无疑问,在构建基础模型的竞争中,获取高质量专有数据是非常重要的。

到目前为止,开源模型依靠公开的数据集进行训练还能勉强跟上。

但如果无法获取最优质的数据,开源模型就可能会逐渐落后,甚至逐渐与最先进的模型拉开差距。

很早以前,Bloomberg就使用其自有的金融文件作为训练语料库,制作了BloombergGPT。

当时的BloombergGPT,在特定的金融领域任务上超越了其他类似模型。这表明专有数据确实可以带来差异。

OpenAI表示愿意每年支付高达八位数的费用,以获取历史和持续的数据访问权限。

而我们很难想象开源模型的开发者们会支付这样的成本。

当然了,提高模型性能的方法不仅限于专有数据,还包括合成数据、数据效率和算法改进,但看起来专有数据是开源模型难以跨越的一道障碍。

参考资料:

https://www.exponentialview.co/p/ev-453

https://twitter.com/jefflijun/status/1736571021409374296

https://twitter.com/ZeyiYang/status/1736592157916512316

https://weibo.com/1560906700/NxFAuanAF

本文链接:https://www.aixinzhijie.com/article/6841464
转载请注明文章出处

评论
登录 账号发表你的看法,还没有账号?立即免费 注册
下载
分享
收藏
阅读
评论
点赞
上一篇
下一篇