两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」
围绕当前话题进行整理与延展,帮助读者更完整理解内容背景、核心信息与后续变化。
两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」
编辑|冷猫 上世纪 40 年代,计算机还是占据一整个房间的庞然大物。它们体积庞大、造价高昂,只有少数科研机构和大型组织能够使用。那时,计算是一种昂贵而稀缺的资源。 但直到今天,仅仅是普通人手里的 iPhone,单位体积里的计算能力都已提高了数十亿倍。那时的人不会想到,全世界大部分的计算都在每个人的桌上和口袋里完成。 历史是个圈,智能的发展也一样。 从 GPT 掀起大模型浪潮开始,能够被用户感知的「智能」就集中在少数科技巨头的数据中心里,运行在云端。而大模型诞生伊始的我们,也没有料到仅仅数年后, 一个超越了 GPT-4V 级别智能的模型,能够流畅运行在手机上 端侧智能的多次降临。横轴是时间,纵轴是参数量。颜色代表模型表现,红色表示性能较强,蓝色表示较弱。 近期, 面壁智能联合 OpenBMB 社区开源了 MiniCPM-V 4.7 。其中的 35B-A3B 版本,是一个 350 亿参数的 MoE 多模态模型,在手机上只占约 3GB 内存,在最新的 iPhone 18 Pro Max 上速度已经超过每秒 30 个 token 让我们来看看,一个打开了飞行模式的 iPad,运行 MiniCPM-V 4.7-35B-A3B 端侧模型,执行多模态任务的实机录屏表现。 视频链接:https://mp.weixin.qq.com/s/jK44J32EhAJwjc0S7ia0uw 作为完全本机运行的 35B 参数模型,表现真的很惊艳。回答准确的同时,输出速度依旧可观,保持在一个体感流畅,但也不至于让人眼花缭乱的速度。多模态能力也很强劲,对手写的数学解题也能够准确识别。 MiniCPM 真的从当年的「小钢炮」进化成了端侧运行的能力全面的性能猛兽。 「从 2024 年开始,我们就说要做端侧智能,当时它还是一个远景。到了今天,这个远景已经变成了近景。」面壁智能联合创始人、首席科学家刘知远说。 这款模型背后,是 面壁智能多模态大模型实验室。实验室由面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远领衔。 在 MiniCPM-V 4.7 到来后,姚远认为,我们已经来到了 「端侧智能的撞线前夜」 ,而端侧智能的未来,会更加不可思议。 「2 年内 GPT-6 (级别的智能)到手机上,我们觉得是没什么问题的」。 端侧智能的「三驾马车」: 模型、硬件与 Infra MiniCPM-V 4.7 35B-A3B 是 全球首个可在端侧无损、流畅运行的开源 MoE 多模态大模型 。而 1B 版本则延续 MiniCPM-V 4.6 的路线,主打入门级设备和端侧智能普惠。 前者负责摸高。在官方公布的 34 项基准测评中,35B-A3B 在通用视觉、数学推理、OCR 与图表理解、长视频等任务上 领先 Qwen3.6-35B-A3B,也超过了 Qwen 27B 和 Gemma-4 31B 。这一代模型的智能水平,「超过 2023 年的云端旗舰 GPT-4V,应该是大家都能认同的」。 后者负责铺开。1B 版本在 OCR、图表推理和多图理解上占优于 Qwen3.5-0.8B,以及更大一些的 LFM2.5-VL 1.6B 和 Gemma-4 ,千元级手机也能流畅运行。 对于内存、算力和功耗都受到严格限制的端侧设备来说,模型有多强固然重要,但更关键的是,能用多小的代价获得多强的智能,也就是 更高的「能力密度」 。MiniCPM-V 4.7 的两个版本,都在各自的参数规模上推动了多模态模型的 「性能 — 效率帕累托前沿」 MiniCPM-V 4.7 的优异表现,也让我们得以重新审视端侧智能的进步的驱动力。端侧智能的发展离不开三个关键因素: 模型、硬件和基础设施(Infra),是推动端侧智能发展的「三驾马车」。 模型:把智能密度逼向物理极限 模型这一侧,面壁智能的主线始终是智能密度。 端侧对密度的要求格外苛刻。 人脑的功耗约 20 瓦 ,一台 8 卡 AI 服务器满载要超过 1 万瓦,手机日常只有几瓦的预算,跑一个 20 瓦的程序,用不了多久就会发烫掉电。 「自然早已证明,智能可以极其高效。」 所以,对于一个端侧多模态大模型而言,最重要的是「看、想、学」,用更少的计算看清世界,用更少的步骤想清问题,用更低的成本学会新本事。 「看」是最贵的一环。MiniCPM-V 系列的视觉压缩也一代比一代来得早。3D-Resampler 把连续 6 帧视频一起压缩,只用 64 个 token,压缩率达到 96 倍;这一代沿用的 LLaVA-UHD v4,把压缩提前到视觉编码器内部,编码计算量减少 55.8%,并支持 4 倍和 16 倍两档压缩率按需切换。 「想」靠后训练。从人工逐句纠错的 RLHF-V,到让开源模型逐条核对的 RLAIF-V,再到用模型自身置信度作为奖励、不需要判卷器的 RLPR,