2024-01-19 14:59

小扎砸数百亿美元猛攻开源AGI!狂掷60万块H100,爆50倍GPT-4算力

AGIing 发布在 AIGC
3.5万

原文来源:新智元

图片来源:由无界 AI生成

今天,小扎正式宣战「开源AGI」!下一代大模型Llama 3正在训练,年底将拥有35万块H100,届时算力总和达60万块H100。为了追赶OpenAI,成立十年的FAIR团队纳入GenAI,全力奔赴AGI。

自Llama2、Code Llama发布后,许久未现身的小扎今天正式官宣:

全力搞「开源AGI」!

短短1分45秒视频中,小扎对Meta的战略升级进行了分享,从AGI构建,到团队合作,再到基础设施的等一系列举措。

接下来,划重点!!!

从现在起,人工智能实验室FAIR团队将纳入「GenAI」,紧密合作重点构建AGI,并全面开源。

目前,Meta内部正在训练下一代模型Llama 3。截止年底,将会有近35万块H100搭建的基础设施。

网友无法想象,Llama 3那得有多大!

Omdia研究数据显示,Meta在2023年H100的出货量为15万块,与微软持平,且是其他公司出货量的3倍。

小扎称,「如果算上英伟达A100和其他AI芯片,到2024年底,Meta将拥有近60万个GPU等效算力」。

此外,小扎的「元宇宙」信仰还没有放弃。他提到,AI最终会与智能设备结合,比如Ray-ban智能眼镜。

30倍GPT-4算力,接近GPT-5水平



在小扎自曝Meta算力之后,Pytorch创始人Soumith Chintala表示,终于可以公开谈论GPU数据了。到今年年底,Meta将拥有60块H100等效GPU。

他还在此卖关子,让大家自由猜测,Meta已经部署和正在使用的GPU。

CAIS的负责人惊叹道, 35万块H100,这比GPT-4的计算能力高出约30倍,几乎达到了GPT-5的水平。

还有人给Meta算了一笔账,「每台H100的成本约为3万美元,这意味着小扎的公司仅购买算力就需要支付约105亿美元,更不用说电费了」。

而这仅仅是为了训练Llama 3?

另外,有网友预计150-200亿美元的算力训练为推荐系统服务的Llama 3。

图灵奖巨头Yann LeCun更是有感而发,今天连发了多条推文。

FAIR的使命是开发人类水平的AI助手:是一个能够理解世界、感知、记忆、推理、计划和行动系统。

在不远的将来,我们与数字世界的所有互动,都将由AI助手通过智能眼镜和其他设备来实现。我们需要这些系统具备人类水平的智能,这样它们才能理解世界、人和工具,从而在日常生活中帮助我们。

为了加快进度,FAIR现已成为人工智能产品部门GenAI的姊妹机构。与此同时,Meta正在建设大规模的计算基础设施,以支持人工智能的研究、开发和生产。

当然,我们也致力于开放研究和开源人工智能平台(是的,Llama 3就要来了!)。FAIR是世界上将AI研究推进到新水平的最佳研究机构,而Meta则是将AI应推向数十亿人群的最佳公司。

没有开源AI,就没有AI创业生态系统。

Meta一直尝试去做正确的事情。

Meta一直在AI领域进行开放研究。

Meta一直在推广开源AI平台。

经过过去一年的多次讨论(有时是有争议的),一个共识正在形成,即开源人工智能平台是不可避免的、必要的,而且是一件好事。

小扎:全员打造「开源AGI」



最近,Sam Altman在参加的世界经济论坛中透露,人类水平的AGI即将到来,而且GPT-5正在训练中。

2023年,人工智能领域成为OpenAI微软的主战场,GPT-4、Copilot等一系列模型/产品发布,让许多大厂望之莫及。

谷歌、Meta、苹果等科技巨头在AI推陈出新上,已经站在了第二梯队。

凌晨,小扎一则视频正式官宣,意味着Meta全员已经重振旗鼓,向全力打造开源AGI迈进。

在Ins视频配文中,小扎写道,

我们的长期愿景是构建AGI,负责任地将其开源,并使其广泛可用,让每个人都能从中受益。为了支持这一目标,我们正在将两大AI研究团队——FAIR和GenAI紧密结合在一起。
Meta目前正在训练下一代模型Llama 3,并建设大规模的计算基础设施,以支撑未来路线图,其中包括到今年年底建成35万块H100,如果算上其他GPU,Meta总算力相当于近60万个H100。此外,我们在构建以AI为中心的新型计算设备(如Ray Ban Meta智能眼镜)方面取得的进展也让人非常兴奋。

Llama 3匹敌GPT-4,免费开源

关于Meta下一代模型的消息,此前也有传言称,Llama 3的实力堪比GPT-4,而且还是免费开源。

OpenAI工程师、前谷歌大脑工程师Jason Wei去年8约在Meta组织的Generative AI Group活动中听说:

Meta有足够的算力来训练Llama 3和Llama 4。Llama 3计划达到GPT-4的性能水平,但仍将免费提供

这次也算是,Meta正式官宣Llama 3训练中,而且LeCun也表示最新模型很快就会上线。

从2023年2月,Llama 1首次面世,到7约Llama 2的升级,Meta花了大约5个月的时间。

当时,Llama 2在某些应用上与GPT-3.5能力相媲美,而且还通过微调,额外功能让开源社区进行优化。

Llama模型开源后所带来的是,模型生态大爆发。

据Meta统计数据显示,在世界最大开源社区平台Hugging Face上,Llama模型的下载量超过3000万次。其中,仅在过去30天(9月份)内就超过了1000万次。

另外,发布在Hugging Face的Llama版微调模型,已经多达7000+个。

而现在,得知Llama 3在训练中,AI圈的人兴奋不已。

AI团队重组:成立10年FAIR团队+GenAI




除了将重点放在开发AGI之外,Meta官宣最引人注目的消息就是:小扎决定将其人工智能研究团队FAIR纳入产品部门。

根据Verge的独家采访,成立10年FAIR团队,将并入GenAI团队。虽然小扎在视频并未说明,只是透露了两个团队将紧密合作。

Meta此举与谷歌合并两大AI团队,别无二致。

OpenAI微软在AI圈名气大涨让谷歌瞬间火烧眉毛,去年4月官宣合并DeepMind和谷歌大脑团队,统称为Google DeepMind。

2013年12月,在LeCun主导下,Fcabook成立了FAIR人工智能实验室。

从成立之初,FAIR的定位便是一个负责研究技术的部门,其研究重点也大多聚焦在解决推理、预测、规划、无监督学习等底层技术问题上。

过去几年来,在这个实验室中人才辈出,何恺明、SVM的缔造者Vladimir Vapnik、提出随机梯度下降法的Léon Bottou等AI领域的学者和专家。

与此同时,研究成果也是「世界级」AI,包括轻量化和模块化的深度学习框架Caffe2、PyTorch架构等等。

而现在,Meta内部需要战略调整,全力奔赴AGI。

说来,GenAI这一团队的成立并未官宣。第一次露面还是在Llama 2发布时,在论文中所有作者下面一行中出现。

GenAI首次以团队名称出现

未来,FAIR的副总裁Joelle Pineau和首席AI科学家Yann LeCun将向Meta的首席产品官Chris Cox汇报工作。

而在此之前,他们是向负责Reality Labs的首席技术官Andrew ‘Boz’ Bosworth汇报。

对此,Cox表示,这一调整强调了AI研究对Meta及其产品长远成功的核心作用。

「通过FAIR和GenAI更加紧密的合作,我们可以拥有一个更加统一的AI研究项目和发展蓝图。其中,Llama将成为我们迈向AGI的主力,同时我们也将简化新技术或创新AI研究的开发流程,确保在一个日益受到关注的领域中,能够在法律、政策和品牌形象方面保持一致。」

专访小扎

问:你将FAIR从Boz所负责的部门转移到了Chris所负责的部门。这对Reality Labs有何影响?我觉得有些人可能会认为RL将会失去它。

小扎:这绝对不是我的看法。让我详细说明这个决定是如何形成的:这其实是Boz的建议。

在讨论如何统一研究规划和流程时,Chris、Boz和我进行了交谈。Boz表示他在AI方面投入了大量时间。但他认为,与其让这些问题不断上报给Chris和Boz,不如让他们直接参与协调工作。因此,他建议将FAIR移至Chris那里。

在以前的模式下,FAIR相对独立地运作,尽管它属于Boz负责的部门,但我不确定他们是否真的认为自己是Reality Labs的一部分。我们总是将AI工作和Reality Labs的工作视为两个不同的领域。Reality Labs可以作为一个独立的组织独立运作,而AI则渗透到公司的各个方面。

这并不意味着所有的工作以前都集中在一个地方,或者现在都会集中在一个地方。这次调整更具体地说,是将我们的两个主要研究实验室并置,以便我们能在这些长期研究领域取得更多进展。在Reality Labs以前的模式中,我不认为FAIR的负责人们会参加Boz的员工会议,它们更像是被作为独立项目来管理。

我认为这次组织内部的调整并不会带来太大的不同感。而且,鉴于AI对公司的重要性,Boz无论如何都会在这方面投入大量时间,Reality Labs也将继续涵盖很多AI相关的项目。

问:你是否注意到,随着生成式AI的兴起,你的个人关注点也随之转移了?相对于Reality Labs,你是不是发现自己在AI方面投入了更多时间,还是说这种投入每周都在变化?

小扎:这不仅仅是两者之间的选择问题。在2023年,最耗费我时间的是关注如何提高效率,我们改变了公司的运作方式,使其更加高效精炼。这并不意味着我们会回到过去的状态。但我觉得我们已经建立了一套新的操作规范,现在可以比较顺利地继续进行。这需要一定的工作量,但可能只有去年我在这方面投入的时间的十分之一。

对于今年而言,这部分工作减少了,这使得我有更多的时间来专注于产品开发。至于其他需要关注的事项,今年将是一个全球范围内重要的选举年。显然,包括美国在内的选举,但我认为,从历史角度来看,今年可能是全球选举最密集的一年。我认为确保我们在所有的诚信维护工作上做得出色也同样重要。因此,这方面今年会比以前更受关注。

身处一种模式中颇为有趣,不是在削减事务,而是我们又可以专注于创造新的东西。这是一种令人愉悦的状态。

参考资料:

https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview

https://www.theverge.com/2024/1/18/24043547/inside-meta-ai-reorg-mark-zuckerberg

本文链接:https://www.aixinzhijie.com/article/6844080
转载请注明文章出处

评论
登录 账号发表你的看法,还没有账号?立即免费 注册
下载
分享
收藏
阅读
评论
点赞
上一篇
下一篇