大模型落地手机芯片!阿里云牵手联发科趟路子
2024-09-05 01:02:37发布 浏览415次 信息编号:164682
友情提醒:凡是以各种理由向你收取费用,均有骗子嫌疑,请提高警惕,不要轻易支付。
大模型落地手机芯片!阿里云牵手联发科趟路子
大型 AI 模型在移动设备上的部署速度日益加快。
3 月 28 日,阿里云与联发科技联合宣布,同义千问的 18 亿和 40 亿参数大模型已成功部署在天玑 9300 移动平台上。据悉,这是同益大模型首次完成芯片级软硬件适配,也意味着Model-on-Chip的探索正式从验证迈向了商业化的新阶段。
这背后,拥有自身算力的终端被认为是 AI 大模型落地的重要场景之一,尤其是使用非常频繁的手机。与此同时,外界也期待AI模式能够搅动长期疲软的手机市场。
设备端大型模型的加速
在移动终端部署大型 AI 模型时,手机的计算能力决定了大型模型的性能。
记者从阿里云了解到,统义千文的 18 亿参数开源模型在多个权威测试集上的表现远超之前的 SOTA 模型,推理 2048 Token 最低仅使用 1.8G 内存,是一种低成本、易于部署、商用友好的小模型。天玑 9300 集成了第七代 AI 处理器,使生成式 AI 处理速度比上一代快 8 倍。
此外,阿里云还告诉《中纪》记者,双方团队也已经完成了统仪千文 40 亿参数大模型对天玑 9300 的适配,未来将基于 70 亿的天玑适配等更大模型,“证明”和支持更多 AI 代理和应用的开发。“并不是参数越大越好,但最重要的是适应。”“阿里云的一位相关人士告诉记者。
据记者了解,通义千文是阿里云开发的一款基础大模型,目前已推出千亿级参数 2.0 版本和 720 亿、140 亿、70 亿、40 亿、18 亿、5 亿级参数的开源版本,以及视觉理解模型 Qwen-VL 和音频大模型 Qwen-Audio 等多模态大模型。
在与记者交流时,一些业内人士认为,利用终端算力进行 AI 推理,可以大大降低推理成本,保证数据安全,提高 AI 响应速度,使大模型更好地为用户提供个性化体验。
3 月 24 日,上海人工智能实验室的领军科学家林大华也在 2024 全球开发者先锋大会大模型前沿论坛上提出,随着云端计算的指数级增长,设备端计算将迎来黄金增长期。目前很多机型越来越小,可以直接在手机上使用。为此,手机的算力也需要持续增长。未来,云协作将成为重要趋势,大模型用户的增长将主要依赖设备端。
但是,需要提到的是,在手机上部署大型模型并不容易。
据记者了解,要在终端上部署运行大模型,需要完成从底层芯片到上层操作系统和应用开发的软硬件深度适配,还存在技术不连通、运营商不支持等诸多挑战, 并且开发需要改进。
阿里巴巴同艺实验室业务负责人徐东表示,阿里云与联发科技在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现基于 AI 处理器的高效异构加速,真正“加载”大模型并运行在手机芯片中,成功为行业打造了端到端 AI 的新型片上模型部署模型原型。
搅动低迷的手机市场
作为全球智能手机芯片出货量最大的半导体公司,联发科技与阿里云在设备端大模上的合作,对手机市场的影响不言而喻。最新数据显示,2023 年第四季度出货量超过 1.17 亿台,苹果以 7800 万台位居第二,高通以 6900 万台位居第三。
事实上,不仅是联发科,今年 3 月,高通还宣布推出第三代骁龙 8s 移动平台,该平台支持 100 亿参数级别的大语言模型,还可以支持多模态生成式 AI 模型,这是小米 Civi 4 Pro 在全球首次推出的。
手机终端厂商较早部署了 AI 大模型。据记者了解,去年 10 月发布的小米 14 和 14Pro 已经部署了 AI 端侧大模型。今年 2 月,OPPO 发布了自己的 1+N 代理生态战略,魅族也宣布了战略调整,停止开发传统“智能手机”的新项目,并投资新一代 AI 设备。
在手机产业链全力以赴的背后,给出的数据显示,2023 年全球智能手机的更新换代率可能会降至 23.5% 的最低点(换代周期为 51 个月)。
IDC 发布的《AI 手机白皮书》预测,新一代 AI 手机将从 2024 年开始驱动新一轮更新换代,2024 年新一代 AI 手机全球出货量将达到 1.7 亿部,约占智能手机整体出货量的 15%,特别是针对中国市场, IDC 还预计,随着新芯片和用户使用场景的快速迭代,新一代 AI 手机将在 2027 年达到 1.5 亿部,市场份额超过 50%。
在此之前,手机市场已经低迷了太久。在过去的 2023 年,IDC 数据显示,全球智能手机出货量同比下降 3.2% 至 11.7 亿部,为十年来的最低水平,而当年中国智能手机出货量约为 2.71 亿部,同比下降 5%,也创下了近 10 年来的最低出货量。
人工智能模型有望成为刺激手机市场增长的一剂强心针。不过,IDC 中国高级分析师郭天祥向《中国时报》指出,随着芯片的升级,在算力方面会有更多能够支持大模型的手机,但对于消费者来说,AI 大模型不会在短时间内成为刚需,也很难成为推动消费者换手机的主推力。
来源|Web3 天空之城
提醒:请联系我时一定说明是从星空网上看到的!