AI大潮下，苹果科技巨頭蘋果公司日前推出了300億參數的推出多模態AI大模型MM1.5，該版本是换代在前代MM1的架構基礎上發展而來的。

該模型繼續遵循數據驅動的大模訓練原則，著重探究在不同訓練周期中混合各類數據對模型性能產生的拥有自言推影響，相關模型文檔已在Hugging Face上發布。然语

MM1.5提供了從10億到300億的苹果多種參數規模，擁有圖像識別和自然語言推理能力。推出

在新版本中，换代蘋果公司的大模研發人員改進了數據混合策略，極大地增強了模型在多文本圖像理解、拥有自言推視覺引用與定位以及多圖像推理等方麵的然语能力。

參考論文可知，苹果團隊在MM1.5的推出持續預訓練階段引入了高質量的OCR數據和合成圖像描述，這顯著提高了模型對包含大量文本的换代圖像的理解水平。

此外，研究人員在監督式微調階段深入分析了不同數據類型對模型表現的作用，優化了視覺指令微調數據的混合方式，使得即便是小規模的模型（如10億、30億參數版本）也能有出色的發揮，實現了更高的效率。

值得一提的是，蘋果公司這次還推出了專門用於視頻理解的MM1.5-Video模型和專門處理移動設備用戶界麵（UI）理解的MM1.5-UI模型。

其中，MM1.5-UI模型未來有望成為iOS背後的“蘋果牌”AI，能夠處理各種視覺引用與定位任務，還能總結屏幕上的功能，或者通過與用戶的對話進行交互。

盡管MM1.5模型在多項基準測試中表現優異，但蘋果團隊仍計劃通過進一步融合文本、圖像和用戶交互數據，並設計更複雜的架構，來提升模型對移動設備UI的理解能力，從而讓“蘋果牌”AI更強大。