Apple Intelligence 的 Foundation Models 框架

javacomhk

Foundation Models 框架是 Apple 推出的一項新技術，旨在透過方便的 Swift API，讓開發者存取支援 Apple Intelligence 的裝置端大型語言模型。它可在 macOS、iOS、iPadOS 和 visionOS 上使用，主要用於增強應用程式功能，例如提供個人化搜尋建議、生成行程或即時創建遊戲對話。

核心優勢：
*   裝置端運行：所有數據皆保持私密，並可離線運行。
*   作業系統整合：模型內建於作業系統，不會增加應用程式大小。

模型特性：
該裝置端大型語言模型擁有 30 億個參數，並經過 2 位元量化。它針對摘要、提取、分類等任務進行優化，但非用於世界知識或進階推理等通常由伺服器端大型語言模型處理的任務。

主要功能：
*   引導式生成 (Guided Generation)：確保模型輸出結構化、可解析的 Swift 物件，而非僅自然語言，這透過「約束解碼」技術實現，提高可靠性與準確性。
*   串流 (Streaming)：模型以「快照」而非原始「delta」形式串流部分生成的響應，方便開發者處理結構化輸出並與 SwiftUI 等宣告式框架良好協作，有助於隱藏延遲。
*   工具呼叫 (Tool Calling)：允許模型自主執行應用程式中定義的程式碼，使其能存取世界知識、個人數據或執行特定動作，有助於抑制「幻覺」並提供事實來源。
*   有狀態會話 (Stateful Sessions)：框架圍繞有狀態會話概念構建，每次互動都作為上下文保留在「對話記錄」中，支援多輪對話。開發者可提供自訂指令來指導模型行為。
*   專用適配器 (Specialized Adapters)：提供額外的內建專用用例，例如內容標籤適配器，可用於標籤生成、實體提取和主題檢測。

開發者工具與體驗：
*   Xcode Playgrounds：提供快速迭代提示的環境，無需重建應用程式。
*   Instruments 應用程式分析範本：幫助開發者分析模型請求的延遲，優化性能。
*   Feedback Assistant：鼓勵開發者提供回饋以改進模型和 API。

開發者應檢查模型可用性，因其僅在支援 Apple Intelligence 的裝置和地區運行。