近期，蘋果悄悄放出一條不起眼的消息：其研發(fā)部門發(fā)布了一篇題為《閃存中的大型語言模型：在有限內存下高效的大型語言模型推理》的論文。冗長的標題下，掩藏著大模型落地端側的技術亮點。業(yè)內人士紛紛猜測：在“AIGC元年”里始終保持著沉默的蘋果，是否終于要在大模型領域出手了？

蘋果大模型“浮出水面”？

近年來，在新技術方面的“后發(fā)先至”已經成為了蘋果身上的獨特標簽：不是行業(yè)首發(fā)，卻能憑借更加優(yōu)越的技術能力、設計理念與生態(tài)體系重新定義產品甚至整個產業(yè)生態(tài)。這一特質早在iPhone、Macbook等系列產品上就有所顯現(xiàn)，去年6月發(fā)布的MR頭顯初次進入人們視野之時，更是蘋果“后發(fā)制人”的高光時刻。

基于此，雖然蘋果始終對百舸爭流的大模型保持緘默，業(yè)內卻認為蘋果在暗自“憋大招”。多位業(yè)內專家對《中國電子報》記者表示，在大模型領域，蘋果手握“門票”卻遲遲沒有“入場”，或許也是其“后發(fā)制人”習慣的延續(xù)。

這也解釋了為何蘋果在大模型方面的任何風吹草動，都格外引人注目。去年7月，首次傳出蘋果暗中測試大模型工具“Ajax”，并推出代號為“Apple GPT”的內部聊天機器人的消息。人們紛紛猜測，“Apple GPT”將為蘋果的人工智能助手Siri帶來革命性的升級。然而，這一猜測迄今尚未成為現(xiàn)實，“Apple GPT”最廣為大眾接受的解釋落定為“工作人員在開發(fā)層面開始使用能夠適配蘋果系統(tǒng)的人工智能工具”。

去年11月，踏著“AIGC元年”的尾聲，蘋果悄然推出一款名為Ferret的開源多模態(tài)大語言模型。據(jù)了解，這款大模型擁有70億和130億兩個參數(shù)版本，從測試結果上看，其圖像處理技術走在行業(yè)前列。然而，這款大模型由于僅面向研究機構開放，最終并沒有走入大眾視野。

圖說：蘋果發(fā)布Ferret大模型，圖像處理能力優(yōu)越

去年12月，隨著上述論文的發(fā)布，“蘋果大模型”再次被推上風口浪尖。略過晦澀的文字表述和復雜的技術原理，論文的結論是：大參數(shù)模型，終于有望在“內存有限”的端側設備中落地了。

蘋果大模型另辟蹊徑

大語言模型要實現(xiàn)普及，落地智能手機是一條必經之路。當下，榮耀、Vivo、OPPO、小米、華為等智能手機廠商紛紛推出“大模型手機”，大模型在手機終端的適配與落地已成大勢所趨。

然而，訓練參數(shù)大、體量龐大、難以部署在端側離線使用，是大模型“走入用戶掌心”的一大難題。記者了解到，在當下主流智能手機市場，16GB運存是較為廣泛的終端配置，這樣的運存處理手機日常運行綽綽有余，但要實現(xiàn)模型的加載與數(shù)據(jù)分析，就顯得捉襟見肘。

為此，谷歌、Meta、微軟等頭部企業(yè)均選擇了“讓模型適應終端”的路線，紛紛推出了訓練參數(shù)更少、體量更小的“小模型”。以微軟為例，去年12月，微軟正式發(fā)布了參數(shù)規(guī)模僅有27億的“小模型”Phi-2，并宣稱該模型性能夠“吊打”體量在其25倍以上的大模型。

圖說：微軟CEO Satya Nadella在微軟Ignite 2023現(xiàn)場發(fā)布Phi-2

而面對著這條“卷起來”的“小模型”之路，蘋果卻另辟蹊徑，首次提出利用閃存技術創(chuàng)新來突破大模型端側部署的難點的概念。蘋果發(fā)布的論文指出，利用其創(chuàng)新的閃存技術，可以讓模型的運行規(guī)模達到iPhone 可用內存的兩倍。在該技術的加持之下，大模型的推理速度在Apple M1 Max CPU 上提高了4-5 倍，在GPU 上提高了20-25 倍?！斑@一突破對于在資源有限的環(huán)境中部署先進的大語言模型至關重要，極大地擴展了它們的適用性和可訪問性。”研究人員寫道。

具體而言，論文中提到了兩種關鍵技術：一是“窗口化”技術，允許模型重復使用部分已處理的數(shù)據(jù)，從而減少頻繁讀取內存的需要，提高大模型運行效率；二是“行-列捆綁”技術，通過對數(shù)據(jù)進行更有效的分組，令大模型能夠更快地從閃存中讀取數(shù)據(jù)，從而加速AI 理解和生成語言的能力。

圖說：圖解兩項核心技術

從論文內容看，大模型在端側的部署難題似乎可以迎刃而解。但也有業(yè)內專家指出，閃存技術仍有“漏洞”，離實際應用尚有距離。專家表示，閃存技術可用的核心假設是大模型所處理的相鄰數(shù)據(jù)前后具有相似性，但論文中蘋果并未對這一必要條件展開論證。閃存技術能否成為大模型端側部署的“轉折點”，還有待驗證。

蘋果大模型蓄勢待發(fā)

蘋果公司CEO庫克曾說過：“蘋果有計劃在更多產品中加入AI，但要‘深思熟慮’”。

過去一年，蘋果雖未對“AI”大書特書，但卻處處可見AI的影子。在2023蘋果全球開發(fā)者大會上，庫克始終強調ML（機器學習）概念，稱無論是硬件領域還是軟件領域，蘋果都早已為ML做足了準備。一方面，蘋果最新推出的M2 Ultra芯片可以負擔大規(guī)模ML的性能需求，在某些場景和需求下甚至可以部分替代獨立圖形處理器；另一方面，從系統(tǒng)到軟件，蘋果將ML的應用重點放在提升用戶體驗上。比如iOS17輸入法方面的更新，其本質就是大語言模型的應用。

在技術層面的準備之外，蘋果在內容方面也逐漸開始了動作。去年12月，有消息傳出，蘋果正就“價值至少5000萬美元的多年期合作協(xié)議”展開討論，并與康泰納仕、NBC新聞和IAC等媒體接洽，獲取他們過往新聞文章的使用授權，以作大模型訓練之用。相比同期微軟、OpenAI被紐約時報因版權原因起訴的尷尬，蘋果的這筆“版權投資”更顯示了其在內容生成領域的計劃性。

圖說：OpenAI被紐約時報因侵權問題起訴

硬件準備方面，香港海通國際證券分析師Jeff Pu發(fā)布報告稱，2023年蘋果可能已經建造了幾百臺AI服務器，而這個數(shù)量在2024年還將顯著增加。他還指出，蘋果計劃最早于2024年末在iPhone和iPad上采用生成式AI技術。這意味著，如果該計劃得以實現(xiàn)，用戶有望在于2024年末發(fā)售的下一代的iPhone和iPad上親身體驗蘋果大模型。