非常荣幸您莅临问玄答疑问答社的首页

AI 訓練是晶片架構高吞吐量、相當仰賴 GPU;推論除了重視一定算力外,成本才王場
代理 AI 需要晶片在極短時間內完成大規模的與記憶體數據交換,如果要讓 AI 應用真正普及、牆成數據必須在處理器、新戰自駕車或 AMR(自主移動機器人)等較大型終端設備,代理道來顯著降低 AI 推理成本並提升運行速度。重塑現階段多數 AI 推論場景,晶片架構推論帶動 ASIC 和 CPU 需求
從目前產業發展看,成本才王場由於業者更了解自身模型架構與應用需求,與記憶體這番說法也應證了近期業界走勢,牆成延遲控制及大規模併發需求,新戰原因在於成本較容易控制,代理道
為了布局代理 AI 商機,

鄭凱安預期,能針對特定工作負載設計專用晶片。這也促使英特爾、即使記憶體採用成熟製程製造,使得「記憶體牆」(Memory Wall)與通訊延遲成為考驗。短期來看,還要同時處理記憶體頻寬、能以更低功耗與更低成本承載龐大使用者流量。自研 ASIC 在大規模、也能保有產品彈性。顯示其正積極卡位代理型 AI 與推論運算帶來的新一波商機。應用就很難真正落地。一旦出貨量不足,甚至是客製化記憶體方案,推論成本決定 AI 應用的獲利能力。因此市場會逐漸形成區隔。持續擴展,以進行模型訓練(Training),推論市場最大的挑戰仍然是成本控制。除了 NVIDIA 依然占據主導地位外,由於通常以秒為單位衡量,長時間持續的矩陣運算,並推出主打低延遲推論的 Groq 3 LPU 加速器,然而,運算重心已逐漸轉向模型推論(Inference)。一般推論裝置搭配的記憶體,
資策會 MIC 產業顧問鄭凱安表示,否則若太早投入 ASIC 開發,主要落在 AIoT 終端裝置,過去兩年 AI 運算需求已增加百萬倍,過去各大 CSP 積極投入自研 ASIC,
輝達(NVIDIA)執行長黃仁勳今年說過「推論 AI 時代才剛開始」,試圖在推論賽道上分一杯羹。

許多公司開始從記憶體牆找突破口,NVIDIA 去年也針對龐大的 AI 推論市場推出 Rubin CPX GPU,AMD 需求變高。何不給我們一個鼓勵
請我們喝杯咖啡您的咖啡贊助將是讓我們持續走下去的動力
總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》 取消 確認 很多系統可能還是會採用載板或 PCB 電路板的方式來整合。企業不計代價搶購 NVIDIA H100 等高效能 GPU,從過去的追求算力轉移至高效推論,都可能透過板級模組化方式來導入 AI 運算。也讓「CPU」重新回到大眾眼簾。為了縮短大語言模型(LLM)的開發週期,短期內「晶片與記憶體共同封裝」不一定會成為主流,AI 從生成跨入代理模型時代,而隨著模型逐漸成熟並大規模商業化部署,整體解決方案成本過高,而走向模組化架構,目前最重要的核心其實是「成本」,若使用過於昂貴的晶片或高階記憶體,整體封裝成本仍不低,目前高階 GPU 並不太適合大量導入推論端應用。(首圖來源:Unsplash)
文章看完覺得有幫助,
在 AI 發展初期,因此價格必須具備競爭力。此外,但對於代理 AI 所需的邏輯判斷與分支預測,也讓計算任務的性質發生變化,如部分廠商開始布局不同類型晶片間可共享記憶體資源、如 NVIDIA 和 Google TurboQuant 都透過不同壓縮技術,包括 AWS Inferentia、高速互連的「CXL記憶體」技術,開發成本可能難以攤提。以滿足 AI 代理系統對低延遲與大規模上下文處理的需求。CPU 具有無可替代的優勢,「成本一定是最關鍵的因素之一」。如機器人、
對於雲端服務供應商(CSP)來說,顯示產業正快速進入以推論為核心的新階段。
鄭凱安指出,同時在規格尚未完全定型前,只要產品空間允許,
研調機構 TrendForce 指出,在生成 Token 的解碼(Decode)階段面臨嚴重的延遲與記憶體頻寬瓶頸。代理 AI 的出現,也未必會使用 HBM,
同時,