蘋果AI版iOS首日火爆:聊天秒變高情商,大模型成最強嘴替

克雷西 發自 凹非寺量子位 | 公眾號 qbitai

它來了它來了,蘋果的apple intelligence終於與果粉見面了!

隨著ios 18.1 beta版的上線,註冊開發者從即日起就能體驗到蘋果ai的部分功能。

最明顯的一處就是siri的全面換新,變身成了apple intelligence & siri。

另一項重磅更新就是寫作功能了,它可以幫忙潤色推特評論,三下五除二就能把高級表達方式安排起來。

甚至dirty words也能分分鐘變得儒雅隨和:

開啟apple intelligence後,蘋果自研的端側大模型就會被下載到設備當中。

根據手快的網友體驗反饋,不像其他家的ai那樣動不動就是拒絕服務。

與此同時,蘋果自家大模型的報告也已出爐,披露了大量技術細節。

報告顯示,在指令遵循、文本總結等任務上,蘋果雲端大模型取得了超過gpt-4的成績。

蘋果基礎大模型團隊負責人龐若鳴(ruoming pang)也表示,其模型與一些同類最佳模型相比具有競爭力。

龐若鳴是普林斯頓計算機博士,本碩分別畢業於上海交大和南加州大學,於2021年加入蘋果,此前在谷歌擔任了15年的工程師。

apple intelligence的主要對話功能,正是由他率領的團隊研發的模型提供支持。

這次他還強調,這些基礎模型「並不是聊天機器人」,而是支持廣泛的功能,包括摘要、寫作幫助、工具使用和代碼。

另外,蘋果也研發了許多自研演算法,為提高模型表現提供了加持,具體信息也在報告中被披露。

還有細心的網友從中發現了華點——

蘋果大模型的訓練用的是谷歌tpu集群,英偉達含量竟然為零。

siri升級,但chatgpt暫未接入

要想體驗到蘋果的apple intelligence,需要滿足的條件有不少。

首先,搭載它的ios 18.1 beta版目前是99美金一年的註冊開發者限定,所以普通用戶還得等等。

還有就是之前說過的,只支持m系和a17 pro晶元,也就是說iphone中只有部分地區的15 pro和15 pro max能用。

除了硬體和身份要求,系統設置也需要修改,要將地區設置為美國,且設備和siri的語言都要改成英語。

滿足了所有這些要求之後,就可以……加入等待隊列了。

此次上線的apple intelligence是部分功能,主要圍繞文本生成、siri和相冊這幾個模塊。

先說文本生成,作為蘋果ai的重要組成部分,該功能的視適用範圍不局限於蘋果官方應用。

只要使用標準輸入文本系統,在第三方應用程序當中也能利用該功能進行文本總結、校對和重寫。

另外結合ios 18 beta的語音備忘錄中已經上線的音頻轉錄功能,文本生成系統還可以為錄音生成摘要。

第二個比較重要的更新就是siri了。

界面上,新版siri不再是一個圓形圖標,在運行時會有環繞屏幕的彩色光不斷閃動。

而且還給不想語音對話的用戶提供了文本對話方式,雙擊屏幕底部即可調出鍵盤,與siri打字交流。

內容方面,新版siri將能夠解答與蘋果產品相關的問題,幫助用戶進行故障排除。

另外,新的siri還可以夠理解從一個查詢到下一個查詢的上下文,例如要求siri創建日曆事件,然後請求創建提醒,而無需重述正在談論的內容。

不過,之前介紹的屏幕感知功能,並未包含在此次siri 的更新當中。

相冊的更新則讓用戶可以用自然語言搜索特定照片,甚至是視頻當中的具體時刻

以上就是本次開發者測試版本中有關ai的大致內容,需要指出的是,這只是之前發布會上所展示的功能中的一部分,還有很多沒有上線。

特別地,之前提到過的chatgpt集成,此次更新也暫未接入

解密蘋果大模型

蘋果已經說過,chatgpt在蘋果ai中不是必選項,主要功能是由自家的大模型驅動。

而關於這個模型,蘋果也在上線的同時發布了全面的技術報告。

模型的名字簡單粗暴,就叫蘋果基礎模型(apple foundation model,簡稱afm),有端側(on-device)和雲側(server)兩個版本。

端側模型的參數量在3b左右,雲側則未具體透露,只說是比端側更大,二者都有32k的上下文窗口。

訓練過程英偉達含量為0

模型的訓練通過自家基於jax的axlearn框架進行,並採用了張量並行、流水並行等策略。

硬體則採用的是谷歌tpu,其中雲側用了8192顆tpuv4晶元,端側用了2048顆tpuv5p晶元,總之英偉達含量為0。

數據則主要來源於通過applebot爬取的網頁,以及有公共許可的代碼和數學數據集。

值得一提的是,蘋果選用的數據集中無一使用gpl,都是mit、apache、cc0這些開放程度更高的開源協議。

流程上,afm的預訓練過程共分三個階段——核心訓練、繼續訓練和上下文延長。

在核心訓練階段中,雲側版本的數據量有6.3t tokens,窗口長度為4096,端側版本則是在此基礎之上蒸餾得到。

繼續訓練時,低質量數據的權重會被降低,並使用數學、代碼以及獲得授權的高質量數據,對模型能力進行提升。

該過程使用了1t tokens的數據,窗口長度也從4096變成了8192。

到了下一階段,窗口長度被進一步擴充到32k,涉及長序列文本和合成數據,總量為100b tokens。

獨創強化學習新演算法

afm的後訓練則包括指導監督微調(sft)、人類反饋強化學習(rlhf)等工作。

其中sft階段使用了合成數據與人類標註數據,合成數據主要關於數學、工具使用和代碼。

而在rlhf階段,蘋果自創了itec和mdloo兩種強化學習演算法。

itec全稱iterative teaching committee,可譯作「迭代教學委員會」,是一種用於強化學習後訓練的演算法,旨在通過多輪迭代優化模型的性能。

其核心思想是結合不同的偏好優化演算法,包括拒絕採樣、直接偏好優化(dpo),使得模型能夠從多種優化策略中受益,從而提高其對特定任務的適應性和性能。

在每次迭代中,itec會從最新的模型中選擇一組表現最好的模型,形成一個「模型委員會」。這些模型是經過sft、rs、dpo/ipo和rl等不同訓練方法得到的。

通過收集人類對模型響應的偏好反饋,itec不斷更新其獎勵模型,並用於訓練新的模型集合。

每收集一批人類偏好數據後,itec會刷新其獎勵模型,並訓練新的模型集合,以此循環進行多輪迭代,逐步提升模型性能。

mdloo則是一種在線強化學習演算法,特別設計用於優化模型的響應質量。

作為在線演算法,它能在模型訓練過程中實時解碼響應,並應用rl演算法來最大化獎勵。

也就是說,這種方法使得模型能夠在訓練過程中不斷學習和調整其策略,以生成更符合人類偏好的響應。

具體實現上,它結合了留一法(leave-one-out,loo)優勢估計器和鏡像下降策略優化(mdpo),以實現更穩定和有效的策略更新。

端側混合精度量化

為了讓端側模型更高效運行,同時避免佔用過多內存資源,蘋果對afm的端側版本進行了量化操作。

具體來說,蘋果採用了混合精度的量化方式,針對不同環節採用了不同的量化精度。

蘋果採用的方式被稱為「調色板」策略,在調色板量化中,權重不是每個單獨量化,而是將它們分組,並讓組內的權重共享相同的量化常數。

對於投影權重,每16列/行共享相同的量化常數,並且使用k-means演算法進行4位量化。

針對嵌入層,由於是輸入和輸出共享的,採用了8位整數進行每通道量化,另外還有某些重要性相對較低的層被進一步壓縮到2位量化。

為了恢復量化後損失的性能,以保持模型的輸出質量和準確性,蘋果還引入了準確性恢復適配器(accuracy-recovery adapters)

該適配器是小型的神經網路模塊,可以插入到預訓練模型的特定層中,在量化模型的基礎上進行訓練,通過微調來學習如何補償量化帶來的影響。

部分任務超越gpt-4

應用了一系列優化技術之後,也到了驗收模型表現的時候了。

在這過程中,蘋果採用了人類評估與自動化評估相結合的策略。

先說人工評估,評估人員設計了涵蓋分析推理、頭腦風暴、聊天機器人等方面的多類問題,並讓模型生成相應。

同時,問題也會被提給用於對比的其他模型,然後由評估人員評判哪個模型的輸出更好。

結果,無論是雲側還是端側模型,都有至少60%的概率不輸給llama 3、gpt-4等對比模型。

其餘的測試主要利用數據集實現。

在指令遵循能力上,蘋果進行了ifeval測試,結果在指令和prompt兩個層次上,雲側afm都超過了gpt-4,成為了新的sota。

端側模型的表現,也超過了llama 3-8b、mistral-7b等近似規模的模型。

在alpacaeval當中,端側和雲側afm也都取得了第二名的成績。

再看具體任務上的表現,afm在寫作類benchmark當中的總結任務上取得了sota,撰寫任務上也與第一名接近。

數學上,蘋果用gsm8k和math兩個數據集進行了評估。

結果端側模型在gsm8k上不敵llama 3-8b和微軟的phi 3 mini,雲側被gpt-4和llama 3-70b超越,但優於gpt-3.5。

math上的成績相對高些,端側版領先了同規模模型,雲側版也超越了llama 3-70b。

性能之外,安全性也十分重要,蘋果通過人工方式對afm抵禦對抗性攻擊的能力進行了評估。

結果顯示,afm在面對對抗性提示時,實現的違反率顯著低於其他開源和商業模型。

以上就是蘋果大模型技術報告中一些值得關注的內容,更多詳情可參閱報告原文。

one more thing

雖然apple intelligence已經提供給開發者進行測試,但彭博社爆料說,正式版可能會延遲上線

的確,按照蘋果此前的版本發布規律,18.1的版本號也意味著,這些功能不會隨著9月的新機發布一同上線。

對此分析師gene munster建議,蘋果應該考慮推遲iphone 16的發布日期,以與apple intelligence保持一致。

至於庫克會不會考慮這個建議,就拭目以待了。

報告地址:https://machinelearning.apple.com/research/apple-intelligence-foundation-language-models參考鏈接:[1]https://x.com/reach_vb/status/1818014366555586611[2]https://www.cnbc.com/2024/07/29/apple-releases-apple-intelligence-its-long-awaited-ai-features.html[3]https://www.tomsguide.com/phones/iphones/ios-181-developer-beta-is-live-with-apple-intelligence-heres-all-the-new-iphone-ai-features[4]https://www.businessinsider.com/apple-intelligence-delay-wont-hurt-new-iphone-sales-analysts-2024-7