【導讀】隨著 AI 從響應提示詞邁向完成任務，基礎設施的優(yōu)化重點也從模型本身擴展到整個工作流，涵蓋規(guī)劃、工具調用、結果驗證與任務執(zhí)行。上午 8:42，一名開發(fā)者打開筆記本電腦，映入眼簾的是環(huán)境構建失敗、測試報錯，還有一條等待發(fā)布的代碼分支。過去，她可能需要花費大量時間逐一排查日志、比對代碼提交記錄、追溯倉庫歷史；而如今，她只需向 AI 編碼智能體下達一句簡單指令：
'修復失敗的測試。找出 bug、提交補丁、重跑測試并匯總改動內容?！?/p>
敲幾下鍵盤，喝上一口茶的時間，智能體就返回了已通過測試的補丁，并附上簡潔的說明。對用戶而言，效果如同瞬時魔法：輸入需求，輸出結果。但在系統(tǒng)內部，實現(xiàn)這一結果的過程一點也不簡單。
僅一條提示詞就可以觸發(fā)請求解析、任務創(chuàng)建、策略檢查、代碼庫檢索、上下文拼接、Token（詞元）編碼、模型調用、工具驗證、沙箱路由、文件編輯、測試運行、遙測采集與最終結果核驗。模型調用固然關鍵，但它只是工作負載的一環(huán)，真正體現(xiàn)工程能力的是對任務圖的協(xié)調與編排。
智能體 AI 會進行規(guī)劃、檢索、執(zhí)行、校驗、重試和反饋。隨著 AI 從孤立的提示-響應交互模式轉向持續(xù)工作流模式，性能的衡量維度也從 Token 轉向完整的任務交付。
模型調用已不再等同于全部工作負載
長期以來，AI 基礎設施主要以模型執(zhí)行為衡量標準：預填充 (prefill)、解碼 (decode)、每秒生成 Token 數(shù)、首 Token 延遲、吞吐量、批處理效率、內存占用以及加速器利用率。這些指標依然重要，但隨著智能體 AI 的興起，系統(tǒng)的關鍵路徑已不再局限于模型執(zhí)行本身。
傳統(tǒng)的推理請求有明確的邊界：從提示詞到結果輸出。而智能體工作流可能涉及任務規(guī)劃、上下文檢索、狀態(tài)管理、工具與 API 調用、沙箱運行、結果驗證、遙測采集以及重試。最終輸出可能是一個答案、一段代碼變更、一條數(shù)據(jù)庫查詢、一次工具調用，或是一個搜集更多信息的決策。
簡而言之，智能體 AI 讓推理演變?yōu)橐粋€分布式系統(tǒng)問題。GPU 對于高強度模型執(zhí)行仍然不可或缺，但圍繞 GPU 展開的工作正日益成為系統(tǒng)性能的決定性因素：哪些任務在運行、在哪里運行、伴隨哪些上下文、允許使用哪些工具，結果是否滿足用戶需求。
這個周邊的技術棧為模型增加了多個層級，其中大量協(xié)調工作都由 CPU 承擔，包括編排、內存與檢索、工具調用、運行時與沙箱、策略系統(tǒng)以及可觀測性等。模型則提供智能、推理和生成能力，而外圍系統(tǒng)能將這些能力轉化為可執(zhí)行的行動。
為什么傳統(tǒng)推理基準已無法全面衡量系統(tǒng)性能
對于聊天機器人，Token 吞吐量可以體現(xiàn)出模型響應速度與生成效率，以及系統(tǒng)能服務多少用戶。但對于智能體 AI，這個評判視角并不夠全面。
開發(fā)者并不會以每秒多少原始 Token 來感知系統(tǒng)性能。她真正關注的是：bug 是否定位準確、補丁修復是否正確、測試是否全部通過、權限是否合規(guī)、結果是否可信且可驗證。對于企業(yè)、科研、安全、運營以及物理世界的各類智能體而言，同樣如此，用戶關心的是最終成果。
這意味著，智能體 AI 時代需要采用工作流級別的性能指標，包括：單項任務完成成本、工具調用延遲、檢索延遲、沙箱啟動時間以及單節(jié)點智能體數(shù)量。核心評判標準從“模型生成得有多快？”轉變?yōu)椤跋到y(tǒng)完成任務的效率有多高？”
CPU 發(fā)揮決定性的作用
CPU 在智能體 AI 中的價值，體現(xiàn)在圍繞模型調用的各環(huán)節(jié)中。模型運行前，系統(tǒng)解析請求、初始化運行環(huán)境、加載策略、讀取工程文件、查詢檢索系統(tǒng)、排序上下文、統(tǒng)計 Token 數(shù)量并準備請求。模型調用期間，CPU 負責處理路由、Token 化、批處理、流式傳輸和 Schema 配置。調用完成后，CPU 驗證輸出、路由工具調用、管理沙箱與子進程、采集日志、歸類故障、更新狀態(tài)并整合遙測數(shù)據(jù)。
在編碼智能體的例子中，一些最耗費 CPU 資源的工作往往發(fā)生在模型生成修復方案之后：運行測試、調用編譯器、啟動子進程、歸類故障、自主選擇重試邏輯。這些操作會對 CPU 核心、緩存、內存、存儲和編排軟件形成壓力。
這正是智能體 AI 看似“瞬間完成任務”背后隱藏的關鍵計算工作。
頭節(jié)點正演變?yōu)檎麄€系統(tǒng)的控制中樞
隨著智能體系統(tǒng)規(guī)?；?，頭節(jié)點 (head node) 的角色變得具有戰(zhàn)略意義。AI 頭節(jié)點不只是加速器旁邊的一顆 CPU。它是核心控制中樞，負責讓異構 AI 系統(tǒng)以統(tǒng)一、可靠的方式協(xié)同運作：路由請求、管理狀態(tài)、準備上下文、協(xié)調加速器、調用管理 API 與工具、執(zhí)行策略、采集遙測，并保持工作流的可觀測性。
編排的本質，在于決定執(zhí)行什么任務、在哪里執(zhí)行、攜帶哪些上下文、允許調用哪些工具，以及如何判斷任務已經(jīng)完成。而頭節(jié)點則是支撐這一能力的基礎設施控制中樞，負責在 CPU、GPU、加速器、內存、存儲、網(wǎng)絡、運行時、數(shù)據(jù)庫、規(guī)則管理系統(tǒng)以及可觀測性工具之間協(xié)調資源，并將這些編排決策貫穿整個系統(tǒng)。
隨著 AI 基礎設施日益異構化，模型、工具、內存、加速器、API、沙箱、規(guī)則管理、追蹤和評估循環(huán)都必須保持同步協(xié)作。而頭節(jié)點正是這一協(xié)調能力得以統(tǒng)一執(zhí)行和運轉的控制中樞。
Arm 的機遇：全鏈路智能體工作流優(yōu)化
對 Arm 而言，智能體 AI 代表著一次平臺級機遇。其對基礎設施的要求，正對應了云基礎設施建設者最關心的關鍵能力：性能、能效、擴展性、軟件成熟度以及選擇自由度。行業(yè)評判標準不再局限于 Token 生成速度，而是平臺能否在延遲、功耗、成本、資源利用率、穩(wěn)定性、開發(fā)迭代效率等現(xiàn)實約束下，高效完成更多工作流。
Arm 提供了一個為異構基礎設施打造的計算平臺。在智能體時代，AI 系統(tǒng)由 CPU、GPU、加速器、內存、存儲、網(wǎng)絡、運行時、API、工具、可觀測系統(tǒng)和規(guī)則控制協(xié)同組成。Arm 的核心價值，在于幫助整個系統(tǒng)實現(xiàn)更高效率、更強擴展能力，并使系統(tǒng)級優(yōu)化更加容易。
這一價值始于 Arm 深厚的技術底座：基于靈活的 Arm Neoverse IP 與計算子系統(tǒng) (CSS) 打造的計算平臺、軟件支持體系以及合作伙伴生態(tài)，為 AI 基礎設施建設者提供了針對特定工作負載設計和部署基礎設施的多元路徑。智能體 AI 讓這種選擇靈活性變得更加重要，因為沒有任何單一計算配置能夠高效承載工作流的每一個環(huán)節(jié)。
這也是為什么 Arm 的價值應當從工作流層面來衡量。更優(yōu)秀的智能體基礎設施應當體現(xiàn)在這些成果上：更低的單項任務成本、更低的延遲、更高的資源利用率、更可預測的執(zhí)行效果。這些關鍵指標能夠直接體現(xiàn) CPU 和頭節(jié)點的價值，并將其與業(yè)務成果緊密關聯(lián)起來。
Arm 將這一理念繼續(xù)延伸，推出面向智能體 AI 基礎設施的自研芯片 Arm AGI CPU，提供另一種部署 Arm 架構算力的選擇。在這套方案中，CPU 協(xié)調圍繞模型展開的工作：控制、內存、檢索、工具、API、運行時、沙箱以及可觀測性。
其目標并不是削弱 GPU 或其他加速器的作用，而是讓整個異構系統(tǒng)更好地協(xié)同運作。智能體 AI 時代，真正占據(jù)優(yōu)勢的將是那些能夠優(yōu)化整個任務圖 (Task Graph)，而非僅僅優(yōu)化 Token 流的基礎設施。
下一代基準：以任務完成為核心
回到前文那位等待修復結果的開發(fā)者，她需要的不是 Token，而是問題修復 bug。這就是智能體 AI 帶來的基礎設施架構轉變。在提示詞驅動的傳統(tǒng)問答時代，模型性能是顯而易見的重心。在智能體時代，系統(tǒng)必須優(yōu)化全鏈路閉環(huán)：模型智能、內存、工具、狀態(tài)、規(guī)則管理、執(zhí)行、驗證與可觀測性。
下一代 AI 基礎設施的評判標準，將是它能否快速、準確、安全、可觀測且高效地完成任務。在此背景下，Arm AGI CPU 為 AI 基礎設施建設者提供了部署 Arm 架構算力的新選擇，用于承載編排與任務執(zhí)行等關鍵工作負載，幫助將模型輸出轉化為真正有價值的行動。
