苹果推出 300 亿参数多模态 AI 大模型 MM1.5,可识别 UI 界面推理自然语言
2024-10-13 13:56:33 小编:天佳吕游
本站 10 月 13 日消息,苹果公司现已为旗下多模态大模型 MM推出1.5版本,该版本模型基于前代 MM1 的架构,继续延续数据驱动的训练原则,重点研究在不同训练周期中混合不同类型数据对模型性能的影响。
目前相关模型文档已发布于 Hugging Face 上,本站附论文地址如下(点此访问)。
该版本模型提供 10 亿-300亿多种参数规模,拥有图像识别和自然语言推理能力。苹果公司研发人员在新版本中改进了数据混合策略,显著提升了模型在多文本图像理解、视觉引用与定位(Grounding)以及多图像推理方面的能力。
参考论文,团队在 MM1.5 的持续预训练阶段引入了高质量的 OCR 数据和合成图像描述,显著提升了模型对包含大量文本的图像的理解能力。
此外,研究人员在监督式微调阶段分析了不同数据类型对模型表现的影响,优化了视觉指令微调数据的混合方式,从而为模型实现了更高的效率,团队表示,即便是小规模的模型(10、30 亿参数版本)也能表现出色。
值得关注的是,苹果公司本次还推出了专门用于视频理解的 MM1.5-Video 模型和专门处理移动设备用户界面(UI)理解的 MM1.5-UI 模型,其中 MM1.5-UI 模型未来有望作为iOS幕后的“苹果牌”AI,其能够处理各种视觉引用与定位任务、总结屏幕上的功能,或者通过与用户的对话进行交互。
尽管 MM1.5 模型在多项基准测试中取得了优秀表现,苹果团队仍计划通过进一步融合文本、图像和用户交互数据,设计更复杂的架构,来提升模型对移动设备 UI 的理解能力,加强“苹果牌”AI的实力。
- 猜你喜欢
-
水管头故事154.71M游戏下载
-
脑洞大王小天才安卓版53.43M游戏下载
-
掘地求升手游安卓版188.54M游戏下载
-
僵尸之塔中文版117.41M游戏下载
-
密室逃脱8624.17M游戏下载
-
植物大战僵尸融合版安卓版1017.19M游戏下载
-
我走进储物柜门之后发生的事64.89M游戏下载
-
剑侠问宗最新版2024484.17M游戏下载
-
贝克街突围84.50M游戏下载
- 相关手机游戏
-
动物营地度假村的故事46.49M游戏下载
-
汽车模拟器2新版本558.18M游戏下载
-
nba2k20安卓版109.32M游戏下载
-
当铺人生2汉化版手机版158.92M游戏下载
-
乌冬的旅店汉化版221.79M游戏下载
-
毒液生存中文版159.04M游戏下载
-
浴火银河144.26M游戏下载
-
浴火银河2967.97M游戏下载
-
猫神(Divineko)129.98M游戏下载
- 推荐手游攻略
- 苹果推出 300 亿参数多模态 AI 大模型 MM1.5,可识别 UI 界面推理自然语言
- 华硕发布 14 款 Z890 主板,最高 24+1+2+2 相供电设计
- 9 月欧洲主机销量报告:微软 Xbox Series X|S 同比暴跌 58%
- 塔瑞斯世界副职业选什么好
- Steam 国区 22.05 元,经典动作游戏《古墓丽影:崛起》迎 1.5 折史低
- 特斯拉招聘暗示,公司计划内部生产磷酸铁锂电池
- 腾达云霄 BE5100 Wi-Fi 7 路由器 10 月 21 日开售:5 颗 FEM、NFC 一键联,229 元
- 消息称三星 One UI 7 的 Home Up 功能可自定义动画曲线、大文件夹
- 塔瑞斯世界银辉城10个宝箱位置一览
- 2024 年前三季度保时捷 Taycan 销量暴跌,卡宴力挽狂澜