全球最大AI巨量模型，参数2457亿炼丹16天专注中文，打造者绝对让你意外

全球最大AI巨量模型，参数2457亿炼丹16天专注中文，打造者绝对让你意外

发自奥飞寺小茶梦辰

量子比特报告 | 公众号

对于一个比GPT-3还要大的AI模型，如果你把过去五年中国互联网上所有可以爬取的内容都读一遍，会发生什么？

可以学日语。

我们告诉它日语“祈吉”的中文意思，它就能熟练地用“祈吉”造句。

也许你没见过“抱气”这个词，但你大概听过它的读音“”（手动狗头）

新词

输入语义

生成文本

空气保持

“持气”是指心情、精神状态。 例如：“那种消极的态度又控制了他。” 写一个带有“持气”的句子：

他的傲慢让我不敢靠近

暂停生命

“悬命”就是全力以赴、竭尽全力、尽最大努力。 他凡事都会挂上性命，绝不会马虎。 用“悬而未决的生命”造句：

他是一个做事悬念太大的人。 为了获得第一手资料，他连吃饭都不顾。

开发它的工程师还告诉我们，如果输入“yyds”，意思是“永恒的神，用来夸张地赞扬某人或某物的伟大”，也能达到同样的效果。

换句话说，如果互联网上诞生了任何新词汇，这个人工智能只需要一句话就能学会它。

而这个AI只用了16天就读完了全部内容。

它是全球最大的人工智能海量模型“元1.0”，突然降临，拥有2457亿个参数和最大的高质量中文数据集。

在过去的4个月里，浪潮的一群工程师将过去5年的互联网内容浓缩成2000亿字，让AI在16天内读完，最终提炼成“源1.0”。

除了《学习日语》之外，还有一些小知识：

问：大李杜是李白和杜甫，小李杜是李商隐和谁？

来源 1.0 答案：杜牧

甚至和女朋友（doge）吵架：

输入：我好心问你吃饭了没有，你又骂我了

袁1.0回复：我没骂你，你就坐吧

这些基本的现代社交技能，“源头1.0”不成问题。

更厉害的是，“元1.0”拥有的2000亿词是“人类高质量中文数据集”。 这是什么概念？

如果一个“阅读狂”一个月能读完10本20万字的小说，那么他需要读一万年才能读完整个语料库，并且排除99%的数据后仍然是高质量的文本。

去年，GPT-3 的表现令人惊叹。 除了1750亿的参数规模外，还有570GB的英文语料库。

“ 1.0”的参数数量比 GPT-3 多了 40%，语料总量是 GPT-3 的近 10 倍。

1.0中文语言模型

GPT-3 英语语言模型

参数量

2457亿

1750亿

数据量

570GB

计算

业内人士指出，5TB的数据量在中国互联网资源中应该已经达到了极限。

凭借“人类高质量中文数据集”，“元1.0”通过了图灵测试，证明可以处理中文，并且在处理英文方面整体效果优于GPT-3。

“源1.0”生成的文本中只有不到一半能被正确识别为AI生成，只有诗歌“骗过”人类的概率很低。

毕竟是和古汉语打交道，这对于一个主要学习互联网中文资源的AI来说有点格格不入。

这样的AI在训练上肯定花费了大量的算力吧？

确实，经过在浪潮计算集群上16天的“火力全开”训练，元1.0能够在CLUE上成功“登顶”也就不足为奇了。

在零样本学习榜上，“缘1.0”超越了18.3%的业界最好成绩，在文档分类、新闻分类、产品分类、本土汉语推理、成语阅读理解填空、以及名词代词关系。

（注：第一位是人类）

他在文档分类、商品分类、文档摘要识别、小样本学习中的名词代词关系等4个任务中获得冠军。 在成语阅读理解填空项目中，元1.0的表现已经超越了人类的成绩。

然而，要让大模型发挥作用，不能仅仅靠算力和数据的堆砌来堆砌，还需要解决大模型训练的不稳定等诸多技术问题。

至于背后的更多技术细节，浪潮透露，他们将于近期在arxiv上发表研究论文。

作为一家提供服务器和数据存储相关服务的公司，浪潮为何也开始加入“细化大机型”的队伍呢？ 这让人感到惊讶，也许现在真的是改变旧观念的时候了。

“源1.0”的诞生是什么？

在很多人的印象中，超大规模NLP模型的前沿基本被互联网软件公司控制。

但事实上，很多超大型模型已经是“三位一体”——算力、数据、算法都来自一种研究方法。

研究表明，计算能力、数据量、参数量的增加会减少模型训练的损失。

而且，这三个因素中的任何一个都是独立的，优化模型性能需要三者的配合。

浪潮的硬件基础有能力将计算能力和数据推向极致。

连续16天训练

“源1.0”整个训练过程，消耗的算力约为-天。 这是什么概念呢？ 比去年的GPT-3增加了12.5%。

然而，训练模型并不是简单地插入GPU板，大规模并行计算中的硬件优化更具挑战性。

凭借多年在大型服务器领域的经验，浪潮多年前就推出了深度学习并行计算框架Caffe-MPI，后来又推出了-Opt。

这些框架针对大型服务器进行了优化，在多 GPU 场景中性能损失很小。

人类高质量数据集

仅仅拥有强大的计算能力是远远不够的。 当今的人工智能技术严重依赖数据。

在构建中文自然语言模型时，第一个障碍就是语料库。

当今的全球互联网仍然以英语资源为主。 以维基百科为例，英文维基百科有638万条条目，而中文维基百科只有123万条条目，不到前者的1/6。

此外，互联网上还充斥着低质量的文字，比如广告和最近流行的废话。 如果人工智能全部学会了，它可能会变得“弱智”。

浪潮采集了2017年至2021年所有中文网络内容、新闻、百科全书和电子书。

为了剔除大部分低质量文本，浪潮开发了高性能分布式数据清洗软件。 历时近一个月，终于获得全球最大的5TB高质量中文数据集。

最大单一模型

此外，“元1.0”还创下了另一项记录：全球最大的单一AI模型。 如何理解？

浪潮信息副总裁、AI&HPC产品线总经理刘军表示：

具体来说，是指单体特称为块状模型。 最典型的海量模型是GPT-3，有1750亿个参数，浪潮的“源码1.0”有2457亿个。 它是中国乃至世界上最大的。 。

单一模型的对应部分是混合模型。

混合模型是专家模型的混合、集成。 它是多个小模型的混合体，通过中间的开关机制进行工作。 每个小模型大约有 100 亿个参数。

如果要打个比方的话，单一模型就是珠穆朗玛峰，混合模型就是一群山头。

研究单一模型就像攀登珠穆朗玛峰。 这个巨大的模型在科学和工业上的价值是非常巨大的。

“将至山顶，一览众山小。”

整体模型可以看到看不见的东西，通过训练生成更高层次的知识。 这就是为什么“ 1.0”无需微调就能在零样本和少样本任务中取得良好效果的原因。 因为单一模型的“思维”是在训练过程中升级的。

当然，训练单个模型的成本也较高。

为了提高计算效率，浪潮通过优化大模型结构、节点内张量并行等算力协同优化方法，大幅提升了计算效率，实现了目前业界领先的计算性能。

浪潮的深度学习训练集群管理软件、集群并行计算深度学习框架Caffe-MPI、-Opt等都在其中发挥了重要作用。

“源1.0”能做什么？

浪潮花费大量精力提炼海量AI模型，能做什么？

从 CLUE 榜单的结果可以看出，“Yuan 1.0”在少样本学习和零样本学习方面表现最好，尤其是在文本分类、阅读理解、推理等一系列任务中。

但实际应用考验的仍然是AI模型的综合实力。 这就像一个人离开学校去上班一样。 真正的问题。

以智能客服为例，这种与人一对一沟通的场景对AI模型的能力要求极高。

从最基本的理解用户意图并给出正确答案，到在多轮对话中保持上下文连贯性，最后让AI在对话过程中识别用户的情绪变化并满足用户的情绪需求。

如果换成手机上的智能助手，还要求AI在长期对话过程中保持身份一致性，不能出现不一致的情况。

除了对话之外，还有商业和法律中长文档的阅读理解、摘要生成、新闻和小说中的文本生成辅助，这些都是巨大的模型。

当被问及为何将模特命名为“袁”时，刘军解释道：

希望海量模型成为整个行业人工智能化的创新源泉。

浪潮为何要做“源头1.0”？

一家传统理念的服务器和IT服务商为何突然做出超大型语言模型？

浪潮的举动似乎令人惊讶。

不过，梳理浪潮近年来的发展轨迹，可以说是“谋划已久”。

在基础算力方面，浪潮在全国范围内建立了智能计算中心作为AI基础设施。

在基础软件平台方面，浪潮拥有开发和培训平台，先后推出深度学习并行计算框架Caffe-MPI、-Opt、全球首个FPGA高效AI计算开源框架TF2等。

同时，浪潮还提供大数据服务云海。

算力、软件平台、大数据能力聚集在一起，只剩下算法了。

事实上，浪潮已经加大了对AI算法的研究。 它多年前就低调成立了人工智能研究院，终于补上了最后一块拼图。

最终，人工智能研究院研发团队用4个月时间打造了拥有2457亿参数的中国模型“元1.0”。

“源1.0”的发布，意味着“算力、数据、算法”三位一体的时代已经到来。 我们不能再把人工智能公司视为三要素之一。 浪潮已经成为一家“全栈”AI公司。

自去年GPT-3的出现以来，人们看到了NLP大规模落地的前景。

但问题是，国内有能力开发中国AI巨型模型的公司屈指可数，这极大限制了NLP的应用。

去年发布的GPT-3，目前仅开放少量API，供不应求。 超大型NLP模型效果惊人，但很难“落地”。

最好的解决方案是：将AI开放给有能力的开发者，让他们重新开发，然后提供给用户。

例如，使用GPT-3开发自动编程工具，然后向其他公司提供插件，以提高程序员效率。

△使用GPT-3自动补全代码

与GPT-3的商业理念不同，Yuan 1.0未来将瞄准免费开放的API。 2019年，浪潮推出“元脑生态计划”。 生态中有两类参与者，一类是擅长技术的“左手伙伴”，另一类是有业务落地能力的“右手伙伴”。

在发布“元1.0”海量模型后，浪潮下一步将向元脑生态社区的所有开发者开放API。

左手伙伴进行二次开发，右手伙伴利用二次开发技术将其应用到行业中。

借助“源码1.0”的开放API，左手伙伴开发出单打独斗时用小模型难以实现的功能，然后交给右手伙伴来实现。

而随着NLP推理需要越来越多的计算资源，“元1.0”与浪潮智能计算中心的云计算能力相结合，可以开发出更多类似以前无法部署的AI应用。

十年前，谁都不会想到人工智能算力和模型的快速发展。

2012年模型得到更新，迎来了计算机视觉时代。 现在任何手机都可以轻松运行各种图像识别和后处理人工智能任务。

去年GPT-3的出现开启了NLP超大型模型的时代。 至于什么时候可以在手机上使用，刘军表示：“乐观估计是5年内。”

近两年，我们看到小型NLP模型在手机上的零星应用。 例如，谷歌在手机上实现离线语音识别，即使没有手机、没有信号、没有WiFi。

现在，手机AI离线翻译逐渐上线，但由于手机的计算能力和模型的大小，离线翻译的效果远远不如在线翻译。

然而，NLP应用遇到了计算能力瓶颈。 由于算力资源宝贵，基于GPT-3的代码补全工具目前仅处于小规模试用阶段。

AI写小说、与人对话、辅助编程现在都充满了想象空间。 真的很难想象，当算力资源和超大型NLP模型普及后，未来还会有什么其他应用。

斯坦福大学李飞飞教授等知名学者近期在一篇关于预训练模型的机遇与风险的论文中表示，如此庞大的模型的意义在于涌现（）和同质性（）。

李飞飞所说的“涌现”是指当​​数据规模和参数规模足够大时，量变最终可以产生质变，可以完成更困难的任务。

目前用2457亿个参数、5TB数据集训练的“ 1.0”是质变之路上的必然尝试。

“同质性”是指AI具有小样本、零样本学习的泛化能力，无需微调就可以直接用于以前没有见过的新任务，从而使语言AI具有举一反三的通用能力。

而且，这种通用知识使得预训练模型无需经历复杂的“微调”过程。 一次培训完成后，即可开放给各行各业使用，进一步降低AI应用门槛。

我们不知道未来庞大的AI模型的质变会带来什么“杀手级应用”，但至少有一些科技公司正在探索质变之路，而“源1.0”就是这样的尝试。

-超过-

本文为网易新闻·网易精选内容激励计划签约账号【量子比特】原创内容，未经账号授权，禁止随意转载。

第三届MEET大会启动，邀您见证智能科技新未来

今年12月，智能未来大会将再次邀请来自智能科技产业、科研、投资等领域的嘉宾，共同探讨智能科技产业的攻势之路。

欢迎智能科技企业参加大会，分享成果、交流见解，共同参与盛会！ 点击链接或下图查看会议详情：

量子位头条签约作者

̾'ᴗ' ̫ 追踪AI技术和产品最新动态

一键连续三个“分享”“点赞”“观看”

科技前沿的进步天天见面~