Mac跑本地AI伺服器非難事!蘋果最新Harbor App曝光內部計劃


Apple 在本機 AI 領域似乎又有新動作。Apple 旗下子公司 Claris 目前正在測試一款名為Harbor的新應用程式,主打將搭載 Apple 晶片的 Mac 直接變成私人 AI 推論伺服器,不僅能在單機執行開放權重 AI 模型,還能透過 Thunderbolt 5 串聯多台 Mac,共享統一記憶體資源,挑戰更大型的 AI 模型。

Mac跑本地AI伺服器非難事!蘋果最新Harbor App曝光內部計劃

Harbor是什麼?讓Apple晶片Mac直接變成AI伺服器

根據 Claris 對 Harbor 的介紹,這款應用程式主要用途是讓 Apple 晶片 Mac 成為私人 AI 推論伺服器,可以直接在本機執行開放權重模型。

最大的優勢就是資料不必送上雲端,模型與資料處理都能留在使用者自己的 Mac 硬體內完成,對重視資料隱私、商業機密,或因公司政策無法將敏感資訊傳送至第三方 AI 雲端服務的企業,將會是相當重要的特色。

Harbor 本身也整合模型管理功能,可以直接透過應用程式瀏覽、下載與載入模型,不需要另外準備繁瑣的執行環境。

簡單來說,Claris 想做的並不是另一款只有 AI 工程師才懂得操作的伺服器工具,而是把本機 AI 模型的安裝、管理與執行流程全部包進圖形化介面。

Harbor是什麼?讓Apple晶片Mac直接變成AI伺服器

AI伺服器架設免指令,Harbor把AI叢集變得像一般Mac App

目前自行架設 AI 伺服器最大的門檻之一,往往不是硬體,而是設定過程,從模型下載、推論框架、網路設定,到多台裝置之間的節點管理,對一般使用者甚至不少企業 IT 人員而言,都有一定的技術門檻,Harbor將這些步驟全部自動化。

按照 Claris 的說法,Harbor 能自動偵測透過 Thunderbolt 5 連接的 Mac,使用者只需要完成實體連接並啟動應用程式,系統便能建立叢集,不需要手動設定,也不必使用命令列,模型同樣能直接從 Harbor 介面下載與管理。

目前 Harbor 仍處於 Early Access 早期測試階段,尚未正式向大眾開放。

有外媒發現,Harbor 先前也曾出現在 App Store,不過相關頁面目前已經撤下,因此正式推出時間、收費方式以及支援哪些 Apple 晶片 Mac,都還沒有明確答案。

由於負責開發 Harbor 的 Claris,本身就是 Apple 旗下以企業軟體市場為主的子公司,其最知名產品 FileMaker 也長期鎖定企業資料庫與低程式碼應用需求,明顯能確定 Harbor 目標客群很可能不是一般 Mac 使用者,而是企業、開發團隊或需要自行部署 AI 的組織。

AI伺服器架設免指令,Harbor把AI叢集變得像一般Mac App

Harbor和LM Studio、Exo有何不同?

在 Harbor 出現以前,Mac 使用者早就能在本機執行 AI 模型,其中 LM Studio 以容易操作的圖形介面受到不少使用者歡迎,可以在單一台 Mac 上下載、管理與執行各種本機大型語言模型;開放原始碼專案 Exo 則更進一步,可以串聯多台裝置,組成分散式 AI 運算環境。

從目前公開資訊來看,Harbor 可以理解成把兩者的部分特色整合到同一套工具中,既提供類似 LM Studio 的簡易模型管理介面,又具備 Exo 類型的多機叢集能力,真正的差異則在於 Apple 生態系整合。

如果 Harbor 能直接利用 macOS 的 Thunderbolt 5 RDMA,以及 Apple 晶片統一記憶體架構進行最佳化,Apple 就有機會把原本需要不少技術能力才能建置的 AI 叢集,變成一般企業也能快速部署的 Mac 解決方案。

Apple正替Mac開闢另一條AI發展路線?

Apple 近年談到 AI 時,外界焦點大多集中在 Apple Intelligence,以及 iPhone、iPad 和 Mac 上的生成式 AI 功能。但 Harbor 顯示,Apple 在 AI 領域可能還有另一條不同的發展路線。

這條路線並不是單純與 ChatGPT 等雲端 AI 服務競爭,而是利用 Apple 晶片的統一記憶體、高記憶體頻寬、低功耗,以及 Thunderbolt 5 高速連線能力,把 Mac 打造成企業可以自行部署的私人 AI 基礎架構。

尤其當 AI 模型持續朝更高效率、更小型化發展,本機推論能力也不斷提升,未來企業未必所有 AI 工作都需要送往大型 GPU 雲端伺服器處理。

Harbor 現階段仍只是早期測試產品,最終是否會正式推出、會不會免費提供,以及 Apple 是否會進一步擴大 Mac AI 叢集布局,都還要等後續官方公布。

返回頂端