首页 > 学习技巧 > 干货知识 > 算法系统协同优化,vivo与港中文推出BlueLM-V-3B,手机秒变AI专家

算法系统协同优化,vivo与港中文推出BlueLM-V-3B,手机秒变AI专家

发布时间:2024-11-30 14:10:29来源: 15210273549
BlueLM-V-3B 是一款由 vivo AI 研究院与香港中文大学联合研发的端侧多模态模型。该模型现已完成对天玑 9300 和 9400 芯片的初步适配,未来将逐步推出手机端应用,为用户带来更智能、更便捷的体验。
 
近年来,多模态大语言模型(MLLM)的迅猛发展,为我们的日常生活带来了无限可能。手机作为我们形影不离的「智能伴侣」,无疑是 MLLM 最理想的落地平台。它能够将强大的 AI 能力,无缝融入我们的日常任务,让科技真正服务于生活。
 
然而,要将 MLLM 部署到手机上,并非易事。内存大小和计算能力的限制,就像两座大山,横亘在 MLLM 与手机之间。未经优化的模型,难以在手机上实现流畅、实时的处理,更遑论为用户带来良好的体验。
 
 
论文地址:https://arxiv.org/abs/2411.10640
为了攻克这一难题,vivo AI 全球研究院和香港中文大学多媒体实验室共同推出了 BlueLM-V-3B。这是一款专为移动平台量身打造的 MLLM,采用了算法与系统协同设计的创新理念,重新设计了主流 MLLM 的动态分辨率方案,并针对手机硬件特性进行了深度系统优化,从而实现了在手机上高效、流畅地运行 MLLM。
 
BlueLM-V-3B 具有以下几个显著特点:
 
算法与系统协同优化
 
研究团队分析了经典 MLLM 使用的动态分辨率方案,发现了图像过度放大的问题,并提出了针对性的解决方案。
 
此外,他们还针对硬件感知部署进行了一系列系统设计和优化,使 MLLM 在移动设备上能够更高效地进行推理,充分发挥硬件潜力。
 
卓越的模型性能
 
BlueLM-V-3B 在性能上表现出色,在参数规模相似的模型中达到了 SOTA 水平(例如,在 OpenCompass 基准测试中取得了 66.1 的高分)。
 
更令人惊喜的是,BlueLM-V-3B 甚至超越了一系列参数规模更大的 MLLM(例如,MiniCPM-V-2.6、InternVL2-8B),展现了其强大的实力。
 
高效的移动端部署
 
BlueLM-V-3B 在移动端部署方面同样表现优异。以联发科天玑 9300 处理器为例,其内存需求仅为 2.2GB,能够在约 2.1 秒内完成对 768×1536 分辨率图像的编码,并实现 24.4token/s 的 token 输出速度。
 
这意味着,用户可以在手机上享受到流畅、高效的 MLLM 体验,而无需担心算力瓶颈。
 

干货知识更多>>

广汽埃安新纯电小车亮相,6种外观配色可选,尺寸超比亚迪海豚 12月23日广汽集团AH溢价达190.52%,位居AH股溢价率第14位 7900XTX与4080Super,谁是爽玩4K游戏的最佳显卡? Evnia O8系列32M2N8800游戏显示器实力秀出卓越性能与丝滑体验 KTC推出“G32P5”31.5英寸显示器,6999元 世嘉确认并无计划推出更多迷你主机,专注现代游戏开发 解锁新騙局!《明星助力平台》不能提出!受骗不能出金背后真相让人不寒而栗! 软件假平台!《趣味茶坊》平台软件不靠谱!失误修补各种理由投入多少都是送!! 冬季被骗的局!《华禾传媒》无法出金曝光!男子被骗数十万元无法提现!! 太可怕了!《韩文图标网约APP》被骗无法出金真相令人无法相信! 不能信不可信!《鼎荣科技》软件无法出金!被骗切勿贪婪受骗!! 迷局不可信!《韩文图标传媒网约平台》瞬间的冲动被骗无法提现真实案例!! 热点号外!《明星助力平台》联单任务不让出金曝光!别再被洗脑了赶紧止损!! 惊心动魄!《BETTERHR》不可信!助力关注网约就是被骗,切勿相信!! 软件假平台!《星环科技》不可信!不是真的平台操作错误修补数据都是陷阱! 假的不靠谱!《天启传媒》不可信不靠谱!受骗被套源于轻信,不予理睬准没错! 软件假平台!《星环科技》无法出金!拉掉遮羞布真相让人恼羞成怒!! 必须谴责!《野花谷APP》不可信!助力关注网约就是被骗,切勿相信!! 别上当阿!《星辉助力平台》不正规!被骗亏损真相揭秘!亲身亏损经历!! 大彻大悟!《Fazioli》被骗!不可信不靠谱别自讨苦吃!猫腻曝光!! 骗人陷阱!《鼎荣科技》被骗别被套牢!不能出金真相!不要再次踏入! 就是暗阱!《星航RAPP》真的假的,操作错误无法提现被骗就是一个陷阱! 软件假平台!《八方传媒》受骗无法出金!平台做任务的背后真相让人不寒而栗! 大体曝光!《造物社APP》是真的假不让提现!真相揭秘不要上当! 知晓并通知!《华文云聊》联单任务不让出金曝光!别再被洗脑了赶紧止损!! 行骗软件!《韩文图标传媒网约平台》网约受骗不能出金真相令人毛骨悚然!! 热点号外!《鼎荣科技》平台被骗曝光,巨额亏损真相令人胆寒心惊! 套路升级!《琴岛传媒》被骗不让提现!发现小群里面几个人都是托!! 真的嘛?!《卓恒文化》系统违规不给出金!不正规!来揭秘真相!! 套路升级!《琴岛传媒》不是真的啊!不靠谱不可信真相震惊!!