當(dāng)?shù)貢r(shí)間4月25日，蘋果在HuggingFace模型庫(kù)上發(fā)布了一系列小型語(yǔ)言模型，名為OpenELM（開(kāi)源高效語(yǔ)言模型），意味著蘋果正為了在Apple設(shè)備端上運(yùn)行生成式AI軟件做準(zhǔn)備。

OpenELM參數(shù)量最低僅有2.7億個(gè)，是市面上最小的一組模型

蘋果新推出的OpenELM模型家族包括8個(gè)成員，4組參數(shù)量級(jí)別分別為2.7億、4.5億、11億和30億。這一參數(shù)規(guī)模小于市面上的主流模型，例如微軟的Phi-3模型最低為38億，而Google的Gemma可提供最少20億個(gè)參數(shù)的版本。小型語(yǔ)言模型的運(yùn)行成本更低，優(yōu)化后可內(nèi)嵌于手機(jī)和筆記本電腦等移動(dòng)設(shè)備中，無(wú)需借助云服務(wù)器。

OpenELM采用“層級(jí)縮放策略”這一技術(shù)在Transformer模型中更高效地分配參數(shù)。該模型的Transformer層具有不同的配置和參數(shù)，而非每層都是相同參數(shù)。與艾倫AI研究所今年2月推出的“真正開(kāi)源且最先進(jìn)的大語(yǔ)言模型”O(jiān)LMo相比，OpenELM的準(zhǔn)確率提高了2.36%，同時(shí)預(yù)訓(xùn)練所需的Token數(shù)量減少了一半。

OpenELM系列模型現(xiàn)已加入Meta、Google和微軟的開(kāi)源模型陣列。雖然這一開(kāi)源模型可供開(kāi)發(fā)人員使用，并且不禁止商業(yè)使用或修改，但如果任何基于OpenELM的衍生作品被指控侵權(quán)，Apple將保留提出專利索賠的權(quán)利。

蘋果想在端側(cè)AI上彎道超車

蘋果CEO庫(kù)克提到，生成式AI功能將出現(xiàn)在Apple設(shè)備中。此前2月，他曾透露，公司已在這一領(lǐng)域花費(fèi)了「大量時(shí)間和精力」。然而，蘋果尚未透露其AI應(yīng)用的具體細(xì)節(jié)，且仍未推出過(guò)商用模型。

在OpenELM系列之前，蘋果已推出多款有助于在Apple設(shè)備上調(diào)用AI能力的框架及模型：

ReALM：該模型可以理解手機(jī)屏幕上的信息、對(duì)話和上下文語(yǔ)境，使用戶與語(yǔ)音助手的互動(dòng)更自然；

MGIE：該圖像編輯模型可以根據(jù)用戶指令修復(fù)照片；

Ferret-UI：該模型可用于手機(jī)智能導(dǎo)航；

MLX：一種機(jī)器學(xué)習(xí)框架，幫助AI模型更高效地在Apple Silicon系統(tǒng)上運(yùn)行。

構(gòu)建自研AI版圖的同時(shí)，蘋果還計(jì)劃找Google、OpenAI和百度合作，有可能授權(quán)它們的AI模型在iPhone上運(yùn)行。