米兰体育

网易米兰体育 > > 正文

你的手机能跑35B大模型了!只要3GB内存,还无损

0
分享至


智东西
作者 程茜
编辑 李水青

智东西10月13日报道,刚刚,面壁智能发布新一代端侧多模态大模型系列MiniCPM-V4.7,包含35B-A3B与1B两个版本。官方称,这款35B‑A3B模型,是首个能够在手机端流畅运行、且能力无损的开源大模型。

具体来看,35B-A3B是MiniCPM-V系列首款MoE模型,总参数350亿、每次推理仅激活30亿,仅约3GB内存即可运行。其在iPad Pro实测数据显示,该模型解码速度超15 token/s,以及在iPhone 17 Pro Max上仅使用3GB内存即可实现超13 tokens/s的解码速度。


从智东西的实际体验来看,35B‑A3B版本推理速度很快,单任务耗时基本维持在秒级;在图像识别、图文分析这类常规任务上,识别结果准确、回答完整。但可能受在线演示平台限制,模型的Token输出长度存在上限,部分复杂问题无法输出完整答案。

今天起,该模型便支持瑞芯微、英伟达、英特尔和苹果等国内外主流芯片平台,同时支持iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。

另一个1B版本模型主打提升端侧效率,实际参数1.3B。根据面壁智能的测试结果,在指令模式下,1B版本在基础功能方面较MiniCPM-V4.6有所提升,并且在总体得分和推理效率方面优于Qwen3.5 0.8B。

截至目前,由面壁智能联合OpenBMB开源社区发布的MiniCPM系列开源模型,全球累计下载量已突破6000万次,覆盖文本、视觉、语音全模态。


开源地址://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B

一、实测35B-A3B模型,推理速度飞快、简单问题回答准确

智东西通过面壁智能提供的在线演示平台体验了MiniCPM-V4.7 35B-A3B模型。

我们上传了一个餐厅墙上的英文菜单图片,让模型进行翻译并给出具体的用餐建议。从下方的动图可以看出,35B-A3B模型的生成速度很快,按照图片上的分类对菜单进行了翻译,并按照不同的需求给出了建议,如用户只想喝点东西、吃点轻食、有酒精需求等,可以选择哪些食物。


接着我们上传了MiniCPM-V4.7系列模型的发布海报,让其分析这张海报,拆解构图、配色、文案卖点、受众,说说它的优点和可以优化的地方。

在十余秒时间内,模型逐条拆解分析了上述要点,并在最后生成了一个可视化的表格。


我们上传了一张高原风景图,让MiniCPM-V4.7 35B‑A3B分析这是什么地貌。从结果来看,模型的输出内容简单直接,并给出了具体的判断依据和准确答案。


二、性能优于同规模Qwen,支持4x/16x视觉Token压缩

从性能来看,官方博客提到,MiniCPM‑V4.7推高了性能与效率的帕累托最优边界。在指令(Instruct)模式下,35B‑A3B相比Qwen3.6 35B‑A3B,能用更短的推理时间取得更高综合得分,1B版本的综合得分与推理效率优于Qwen3.5 0.8B。


MiniCPM-V4.7 1B和前代V4.6、Qwen3.5、LFM2.5-VL、Gemma-4-E2B等多模态大模型进行了横向对比。V4.7支持4x、16x两种视觉压缩率,16x Token压缩率意味着图像token更少、推理更快、显存占用更低,但通常会牺牲一点精度。

从具体的基准测试结果来看,MiniCPM-V4.7 1B在General通用图文理解、Document/OCR/文档图表分析、多图理解方面更占优势。

此外,长视频时序理解方面,MiniCPM-V4.7 1B的表现超过了V4.6、Qwen、LFM、Gemma。


MiniCPM-V4.7 35B-A3B的基准测试结果显示,其在通用图文、STEM数学、OCR文档、视频理解方面均超过了Qwen3.6 35B-A3B,仅在RefCOCO上得分略低。


在纯文本基准测试中,MiniCPM-V4.7 35B-A3B的优势是中文综合知识和复杂多轮工具规划,但在纯文本奥数、代码、严格约束指令、英文硬核专业知识方面相对偏弱。


三、三种互补技术,支撑MiniCPM-V4.7端侧流畅推理

MiniCPM-V4.7系列模型的核心突破,得益于面壁智能自研的LES(前瞻专家调度)技术,以及细粒度的逐层量化和DSpark推测性采样集成。

MoE模型总参数大于单次推理激活的参数,但端侧不能只存激活参数。不同token会调用不同层的不同专家,设备内存通常装不下全部专家权重。

一种思路是把权重放在SSD上按需加载、用完释放,但频繁加载会拖慢解码,达不到实时交互要求;另一种办法是缩小可用专家池,给整条提示词固定一批专家,减少加载次数,但缺点是后续token只能从这批专家里选,会漏掉本该选中的专家,降低模型效果。

针对上述挑战,面壁智能提出了三种互补技术:

前瞻专家调度(LES):利用跨层路由预测来预加载下一层可能需要的专家。在实际路由器选择的专家中,LES会优先处理那些成功预取的专家,并将它们计算与加载剩余所需专家的计算重叠进行。预测仅指导预取和调度;计算仍然遵循模型原有的token级路由,预测遗漏的所需专家也会照常加载和评估。


▲前瞻专家调度架构(图源:面壁智能)

细粒度的逐层量化:减少专家权重的存储空间和内存流量,同时保持模型能力,使专家加载更适合设备内存和带宽限制。

DSpark推测性采样集成:将推测性采样融入到设备端推理过程中,与专家调度和量化技术协同工作,以提高解码效率。

结语:让更聪明的MoE模型跑在端侧

MoE架构的优势在于,用更小的单次激活算力承载更大容量的模型知识库、多模态能力,但全部专家权重无法常驻内存、动态路由带来随机加载延迟等问题会阻碍其在手机、AI PC、边缘盒子规模化落地。

面壁智能此次的新模型通过三大技术协同,实现了效果无损的端侧MoE推理。这套技术路线,证明高密度MoE多模态模型从云端下沉到本地终端,支撑离线图文分析、本地智能体等场景的潜力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大唐最血腥的一夜!八万权贵惨遭清算,从此中国再无门阀世家

大唐最血腥的一夜!八万权贵惨遭清算,从此中国再无门阀世家

掠影后有感
2026-10-17 09:33:02
王曼昱打佐藤瞳那场,看台上有个大老爷们咬着后槽牙的那种吼法

王曼昱打佐藤瞳那场,看台上有个大老爷们咬着后槽牙的那种吼法

江启
2026-10-18 18:00:05
铁了心对付中国?暴跌58%,俄罗斯大幅加税,中国汽车出口骤降

铁了心对付中国?暴跌58%,俄罗斯大幅加税,中国汽车出口骤降

听风喃
2026-10-17 08:00:36
1900年,八国联军攻入北京,一个德国人拍到20张照片

1900年,八国联军攻入北京,一个德国人拍到20张照片

春秋砚
2026-06-24 06:45:13
人民日报调查四川多县用硫磺熏笋出售:去年一县查获1900公斤仅罚500元

人民日报调查四川多县用硫磺熏笋出售:去年一县查获1900公斤仅罚500元

澎湃米兰体育-米兰(中国)官网
2026-10-19 07:18:10
中国就是不签,俄罗斯也没办法,硬着头皮也要把天然气卖到非洲

中国就是不签,俄罗斯也没办法,硬着头皮也要把天然气卖到非洲

小怪吃美食
2026-10-18 19:49:18
回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

回溯刘嘉玲 90 年被绑旧闻,不雅照轰动全港,当晚究竟经历了什么

搞笑娱乐笑话
2026-09-08 13:54:55
周恩来晚年坦言:若非毛主席拦下绝密军令,3万红军或全军覆灭?

周恩来晚年坦言:若非毛主席拦下绝密军令,3万红军或全军覆灭?

纪史行者
2026-10-03 03:50:06
男子甜言蜜语哄37岁情妇开心,情人给6万让他回去离婚,2015年,竟趁情妇昏迷男子将其活埋

男子甜言蜜语哄37岁情妇开心,情人给6万让他回去离婚,2015年,竟趁情妇昏迷男子将其活埋

丫头舫
2026-09-14 22:03:56
海南:人来了,钱却没留下!475万人上岛、68亿进账:为啥更急了

海南:人来了,钱却没留下!475万人上岛、68亿进账:为啥更急了

兴趣知识
2026-10-19 07:27:10
这条米兰体育-米兰(中国)官网发展到这一步,讽刺至极!

这条米兰体育-米兰(中国)官网发展到这一步,讽刺至极!

胖胖说他不胖
2026-08-30 10:41:33
我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

我刚调任县长,中午在食堂吃饭,一个老同志拍桌子怒吼:瞎了眼吗

千秋文化
2026-07-01 20:34:45
各项赛事6场不胜!英超:曼联1-1利兹联7轮7分 姆伯莫破门

各项赛事6场不胜!英超:曼联1-1利兹联7轮7分 姆伯莫破门

狍子歪解体坛
2026-10-18 22:53:38
京东京造推出Z9Pro-i人体工学椅:自带按摩热敷功能,1549元(国补后1149元)

京东京造推出Z9Pro-i人体工学椅:自带按摩热敷功能,1549元(国补后1149元)

IT之家
2026-10-18 18:34:43
3000万镑身价尽显!铃木彩艳零封纽卡获评全场最佳

3000万镑身价尽显!铃木彩艳零封纽卡获评全场最佳

星耀国际足坛
2026-10-18 22:43:36
太直白了!王俊杰:国家队教练打战术,大学教练教会我做正确的事

太直白了!王俊杰:国家队教练打战术,大学教练教会我做正确的事

格斗联盟有话说
2026-10-19 13:10:28
胸大屁股翘如人间水蜜桃,那年的藤原纪香,迷得郭富城神魂颠倒!

胸大屁股翘如人间水蜜桃,那年的藤原纪香,迷得郭富城神魂颠倒!

白夜书声
2026-09-25 18:48:27
跳过19直接叫iPhone 20?苹果20周年新机最新曝光:四曲面全玻璃机身,配屏下Face ID!

跳过19直接叫iPhone 20?苹果20周年新机最新曝光:四曲面全玻璃机身,配屏下Face ID!

明美无限
2026-10-18 17:10:27
“我不会让孩子考北大”,本硕女高材生直言不讳:毕业就被打回原形

“我不会让孩子考北大”,本硕女高材生直言不讳:毕业就被打回原形

蝴蝶花雨话教育
2026-10-18 00:05:21
他官至副部长,1984年遭开除党籍,晚年定居美国生活

他官至副部长,1984年遭开除党籍,晚年定居美国生活

其修远兮
2026-10-16 06:45:07
2026-10-19 14:12:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12750文章数 117186关注度
往期回顾 全部

三季度亏了521万 “浙江早餐大王”关闭132家店

三季度亏了521万 “浙江早餐大王”关闭132家店

从NBA退役10年后,他真去警局上班了

演员许君聪近况曝光 婚恋成谜让人唏嘘

黄奇帆之子往事:从广微系到魏桥的跳跃

王晟:近千亿资金涌入后 具身智能开始退烧

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

因新荣记出圈,这座浙东小城才是吃货天堂

《雾锁王国》正式版游民评测8.2分:再攀高峰

骁龙8E+万级大电池!REDMI K100起售价超3000元

缅怀 | 著名油画家 宋惠民先生逝世,享年89岁

无障碍浏览 进入关怀版