三星要把記憶體疊到 GPU 上方，美光指出的關卡不在架構

今日漫畫 出演・水無瀨 澪

SEMICON Taiwan 2026 的幾場論壇把同一個問題問了很多次：AI 晶片的算力還在往上加，記憶體的頻寬與容量也一路跟，但資料在記憶體與運算晶片之間來回搬動的成本，還能不能再壓下去。

回答這個問題的四家公司給出的方向大致一致，做法卻各自不同。有人想縮短距離，有人想改變運算功能放在哪裡，而擋在前面的技術關卡，跟大家原本預期的地方不太一樣。

記憶體開始往 GPU 上方疊

目前主流 AI 加速器採 2.5D 封裝，GPU 與數顆 HBM 並排放在同一個封裝裡，資料從 HBM 送進 GPU 仍要跨過一段水平距離。三星認為這個配置已經開始限制延遲往下降。

三星電子記憶體產品規劃部門副總裁崔璋石在記憶體高峰論壇說：「傳統 HBM 採用 2.5D 架構，記憶體與運算晶片並排放置，這會形成一道物理限制，讓延遲難以再降低。為了突破這項限制，我們正在改變架構本身。」

三星的做法叫 zHBM，把記憶體核心晶粒移到處理器上方，中間用一層連接結構互連。原本並排的兩者改成垂直整合，資料路徑跟著縮短。

數字上，三星今年 5 月開始出貨 12 層 HBM4E 樣品，比 HBM4 每瓦效能提升 16%、熱阻降低逾 14%。下一代 HBM5 已進入開發，目標是比 HBM4E 效能提高 2 倍、每瓦效能再提升 20%、熱阻降低 20%。zHBM 的目標則跳一個級距：

• 相較 HBM4E，效能最高提高 8 倍
• 每瓦效能提高 3 倍
• 熱阻降低 75% 至 90%

SK 海力士走的是另一條路。與其把資料從記憶體搬到運算端，不如把運算搬到記憶體。記憶體系統研究資深副總裁金浩植在同一場論壇提出這個問法，做法是利用 HBM 底部的基礎晶粒，整合部分原本由 GPU 或 ASIC 負責的運算與控制功能。

基礎晶粒之所以能承擔更多工作，跟製程換手有關。SK 海力士到 HBM3E 為止，基礎晶粒都用自家技術製造；HBM4 開始改採台積電先進邏輯製程，在有限面積內放進更多功能。今年 GTC 上公開的 Stream DQ 架構就是具體例子，把原本由 GPU 負責的部分資料預處理移到基礎晶粒。

AMD 則把問題往外推了一層。異質整合技術企業副總裁斯瓦米納坦指出，AI 運算規模擴張後，系統耗掉的電力有相當一部分不是花在計算本身，而是花在晶片、記憶體與節點之間的資料傳輸。

他主張的設計方法是從系統往回推：先看完整 AI 系統需要多少運算能力、記憶體與頻寬，再決定晶片、記憶體、封裝甚至製程怎麼設計。他把這個轉變形容成從「由左往右」改成「由右往左」，並直接說：「系統建構才是策略。」

Google 的判斷從另一個角度過來。AI 與基礎設施資深副總裁暨技術長 Amin Vahdat 9 月 2 日在大師論壇說，運算已經相對便宜，搬資料才貴。Google 第 8 代 TPU 已分成偏訓練的 8t 與偏推論的 8i，他透露約兩年前公司就判斷兩種需求大到值得分開最佳化。

Vahdat 還提到一個反直覺的觀察：Agent 需要 CPU 協調大量資料移動與模型呼叫，Google 已經看到昂貴的 TPU 與 GPU 有時得等 CPU 把工作做完。

卡關的地方換成了封裝

架構圖畫得出來，不代表做得出來。

美光總裁暨技術與產品長德波爾 9 月 2 日在大師論壇講的就是這件事。他確認垂直 HBM 已經成為記憶體產業與合作夥伴共同關注的方向，但接著說：「就大規模量產能力而言，混合鍵合目前確實明顯落後。」

混合鍵合是讓晶片表面的介電層與銅互連直接接合，省掉傳統堆疊需要的微凸塊，藉此縮短連接距離、提高 I/O 密度。連接做得越細密，兩個待鍵合表面的平坦度、對準精度與缺陷控制要求就越高。德波爾點名還需要大幅提升的能力包括晶粒對晶圓、晶圓對晶圓鍵合，以及相關量測。

垂直 HBM 本身也有取捨。它換到的是非常大的頻寬提升空間，代價是能提供的記憶體容量較少，因此不是單純取代現有 HBM，而是瞄準對頻寬需求特別高的推論工作負載。既有 HBM 會繼續往頻寬與容量加。

德波爾判斷未來一到兩年記憶體頻寬仍是 AI 基礎設施要優先改善的瓶頸，而過去幾年 HBM 頻寬持續提升，已經是壓低每個 token 運算成本的重要因素之一。

散熱是另一道。記憶體疊到高功耗運算晶片上方，資料路徑短了，熱源也更集中，還得穿過更複雜的堆疊結構排出。斯瓦米納坦說得直接：「散熱已經成為瓶頸。」三星替 zHBM 設定 75% 至 90% 的熱阻降幅，正是為了這件事。

微軟 Azure 硬體系統與基礎架構總裁 Rani Borkar 把同一個困境寫成另一種說法。她主張記憶體已經不只是供應鏈問題，而是系統工程挑戰，並提議把半導體業用了六十多年的良率思維搬過來衡量 AI 基礎設施：重點不在建了多大的算力規模，而在最後萃取出多少實際可用的成果。她以 Azure Maia 為例，說明降低 KV 快取需求得靠模型架構、資料壓縮、軟體管理與晶片設計一起做。

昨天前一份報告提到台積電同時在蓋近 20 座廠、設備需求半年上修到 1.9 倍。那是產能端的擴張速度；混合鍵合是同一條路上的另一道閘門，而這道閘門的開關不在蓋廠速度手上。

博通把兩年後的出貨講到 GW 等級

博通 9 月 2 日公布 2026 會計年度第三季財報，營收 295.91 億美元、年增 85.5%，其中半導體相關營收翻了一倍以上到 167 億美元，基礎建設軟體業務 87.5 億美元。本季展望約 348 億美元，年增 93%。

比數字更具體的是執行長陳福陽在電話會議上點名的客戶與時程：

• 加快向 Anthropic 出貨 Google Ironwood TPU，並向 Google 出貨 TPU 8i 晶片
• Anthropic 預期 2027 年部署 5GW 的 TPU 8i，博通可望再交付 10GW
• OpenAI 的客製化 Jalapeño 處理器持續出貨，第二代準備完成流片，第三代已在規劃
• Meta 的客製化 MTIA 加速器預料開始量產出貨，針對大規模推論與推薦工作負載最佳化
• 2027 年預期部署 1.3GW Jalapeño，與第二代合計可望部署規模超過 5GW

陳福陽並預期博通 2027 會計年度 AI 營收倍增至 1,150 億美元，2028 會計年度再倍增至 2,300 億美元。

財務長 Amie Thuener 補了一段值得記下的話。她說公司正在協助兩家最重要的策略性客戶，也就是前沿 AI 實驗室，彌補現金流與其業務所需龐大前期投資之間的資金缺口，並提到博通可能向這些實驗室提供殘值保證，這類安排屬於或有負債。陳福陽的說法是：「博通投入資金並協助這些公司發展，在經濟效益上是合理的。」

晶片供應商替客戶擔一部分財務風險，這件事本身就是需求強度的一種描述方式。

輝達那邊的訊息是需求與供給的落差。投資人關係暨策略財務副總裁 Toshiya Hari 說，公司 2028 會計年度營收年增 70% 的展望，主要來自超大規模雲端業者、新型雲端服務商、AI 實驗室、主權 AI 與企業需求；如果沒有供應限制，年增幅可能超過一倍。他還提到一個時間點：約 18 個月前訓練與推論營收占比大致各半，現在推論業務規模已經超越訓練。

同一天上線的兩個模型

Meta 9 月 2 日推出 Muse Spark 1.3，首席 AI 長 Alexandr Wang 說這是公司迄今在效能上的最大躍進，程式撰寫與替使用者執行任務的進展最明顯。開發者當天起可付費使用，之後會陸續開放給 Instagram、Facebook 與 Meta AI 的使用者。

同一天釋出的 Muse Glimmer 比較有意思。約 300 億參數、由封閉的 Muse Spark 蒸餾而來、採 Apache 2.0 授權，可以下載權重在本地跑、微調、建應用，不需要額外授權或 API 費用。Meta 說它針對代理式工作負載設計，在一般筆電或單顆 GPU 的個人電腦上就能運作。Meta 另外確認未來數週內會開放 Muse Spark 本身的權重。

Meta 在升級說明裡把 Agentic Workflows 列為重點，講的是模型在長時間多步驟任務裡會不會反覆繞路、忘記前面的要求、能不能正確使用工具、發現計畫有缺口後自行修正。當 Agent 開始連續處理數十甚至數百個步驟，最後答對與否已經不是唯一的評分項。

Google 同日推出 Gemini 3.8 Flash，以及專為資安用途打造的 Gemini 3.8 Flash Cyber。價格維持與 3.7 Flash 相同，每百萬輸入 token 0.75 美元、輸出 3.75 美元，適用到今年 12 月 31 日。這是短時間內第三次推出 Flash 系列版本。

標價沒動，但 Google 自己說模型為了追求更好的效能可能使用更多 token，尤其在調高運算投入程度時，實際成本因此可能高於標價。想控制 token 用量的開發者仍可以選 3.7 Flash。

Cyber 版本走的是另一套規則。它鎖定漏洞偵測與自動修補，被納入新成立的 Fairwind Program，只提供給經過審核的可信任防禦方，包括政府機構、關鍵基礎設施營運者與軟體維護者。

電費要先付，土地還沒談好

韓國電力公社近期向三星電子與 SK 海力士提議，依 2027 年到 2031 年的預估電費計算，由兩家公司合計預繳 25 兆韓圜，約 183.9 億美元。付法是一年內分期繳清，之後每月從預繳款扣抵實際電費，未抵扣餘額由韓電支付利息。

參考基準是三星電子 2025 年繳約 4.1 兆韓圜、SK 海力士約 9,000 億韓圜。

韓電要這筆錢的原因寫在自己的資產負債表上：截至今年 6 月底負債總額 210.7 兆韓圜，光靠發債難以支應半導體聚落與 AI 資料中心帶動的電網建設成本。對兩家記憶體廠而言，換到的是降低電網工程延誤影響工廠投產的風險。

規模往上拉一層。PwC 的《Global Data Centre Outlook》估算，全球為支撐 AI 而投入的資料中心與相關基礎設施資本支出，到 2050 年累計超過 31.6 兆美元，區間落在 22 兆到近 50 兆之間。年度資本支出預估從 2026 年約 8,000 億美元，增加到 2030 年 1.1 兆、2050 年 1.8 兆美元。

區域分布相當集中。美洲累計投資估達 16.5 兆美元，其中美國單獨占約 15.1 兆、接近全球總額的 48%；亞太 8.2 兆，主要需求來自中國與印度；歐洲 5.6 兆，PwC 歸因於電力限制、規劃摩擦與各國監管零碎化。

錢有了，地不一定拿得到。美國最新民調顯示超過半數民眾今年 7 月用過 AI 聊天機器人，但面對資料中心要蓋在自家社區時，七成受訪者強烈反對。反對理由集中在電費、供水壓力與環境負擔，以及設施完工後永久職缺有限。

阻力已經產生具體結果。賓州州長夏皮羅與德州州長艾伯特分別祭出更嚴格的審查要求或暫停開發措施；德州胡德郡一項占地 862 英畝的開發案在居民抗爭後遭到撤銷。

聯準會褐皮書提供了另一面的數字。報告指出部分大型資料中心專案所在地的營建活動帶動技術工人就業與薪資成長，也擠壓當地勞動市場，馬里蘭州一家建商為挽留工人把工資提高 35%；若剔除資料中心影響，部分地區的建築活動可能放緩。

波克夏海瑟威執行長阿貝爾談供電機會時，開的條件很具體：資料中心不能推高其他客戶電價、社區必須理解並接受水資源影響、當地居民必須歡迎進駐。2025 年資料中心已占 Berkshire Hathaway Energy 愛荷華州用電負載約 8%。他強調的是定位差異：「我們的場址是能源基礎設施，而不是資料中心。」

Agent 進辦公室之後

Meta 近期通知團隊，未來績效評估不再把 AI 工具使用量或是否具備 AI 原生標籤列為考核標準，改回以整體產出與實質影響力為核心。這結束了公司內部一度盛行的 tokenmaxxing 風氣，過去幾個月為了展現導入成效，不少員工是為了衝數據而硬用 AI。

考績壓力鬆開的同時，推廣沒有停。Meta 把焦點轉到一款叫 Hatch 的代理型 AI，主打能在電腦上直接執行動作、自動瀏覽網頁並操作其他應用程式，員工已在公司設備上試用數週。

員工端的情緒統計則往另一個方向走。Glassdoor 分析顯示，2026 年 AI 相關評論正面比例降到 43%、負面升到 53%，2019 年的正面比例是 81%。

世代差異的方向跟直覺相反：X 世代員工對公司使用 AI 的正面評價約 46.1%，高於千禧世代的 38.6% 與 Z 世代的 32.2%。Glassdoor 資深經濟學家 Chris Martin 指出，過去擔心年長勞工無法適應新科技被淘汰，至少就 AI 而言還沒發生；Z 世代使用獨立 AI 工具的比例遠高於 X 世代，擔憂也更深。

年輕員工的顧慮很具體：客服、研究、行銷文案這類入門工作被自動化取代，職涯起點跟著被壓縮。

監管端也有動作。紐約市擬禁止公立學校 8 年級以下學生使用 AI，要到 9 年級以後才能使用，而且僅限特定用途，例如了解 AI 技術本身；提供心理支持的陪伴型聊天機器人也在禁止之列。新規定允許教師把 AI 用於備課、撰寫訊息等任務。

還有一個容易被忽略的落差。電商 SEO 公司 Product Rise 追蹤約 200 萬筆商品資料後發現，同一款商品同時出現在 Google AI Mode 與傳統搜尋時，AI Mode 顯示的價格平均高出 21.6%：

• 兩種介面所有商品併計，AI Mode 價格中位數 149 美元，傳統搜尋 100 美元
• 38% 的追蹤商品兩邊價格不一致，其中三分之二是 AI Mode 較高
• 僅 1.28% 的商品會在同一個查詢中同時出現，主要賣家有 49.6% 的機率完全不同

Google 回應尚未驗證該報告的準確性，並強調所有購物結果都撈自同一套 Shopping Graph 資料庫。

替既有設備裝上大腦

李飛飛共同創辦的 World Labs 推出世界模型 Atlas，只需要輸入一張圖片就能生成範圍廣闊、細節豐富的 3D 模擬環境，並精確控制攝影機位置與移動，從不同角度呈現同一場景。她長期主張的論點是，AI 若不具備空間智慧就不可能實現人工通用智慧。

換個角度看物理 AI 的商業化，起點不一定是新機器人。Archetype AI 共同創辦人暨營運長 Brandon Barbello 曾在 Google 參與近十年硬體、軟體與 AI 產品開發，他的看法是這波技術更大的價值在替現實世界已存在的設備裝上能理解環境的大腦。

理由跟更新速度有關。軟體可以一夜推送到數億支手機，發電廠與工廠生產線不行，新硬體要經過製造、測試、認證、安裝。工業機器人的歷史可以追到 1961 年通用汽車紐澤西州工廠部署的第一台 Unimate，六十多年過去，完全無人介入的熄燈工廠依然不普遍。

而資料其實早就在了。一輛自駕車每天產生約 25GB 資料，飛機引擎每小時可能產生約 20TB，工業現場的溫度與震動訊號無時無刻在留下，問題是多數沒有進入決策系統，因為許多設備仍按多年前設定的規則運作。

Barbello 舉的例子有具體對照組。一家風電業者曾花兩年手工建立異常偵測模型，工程師得逐一研究感測器訊號才能辨識問題；Archetype AI 把自家物理 AI 基礎模型 Newton 接上相同感測資料後，不需重新訓練就重現了原有偵測能力，另外找出九種原本沒被辨識的異常模式。

Google DeepMind 更早的案例也是同一套邏輯：讓機器學習模型直接參與資料中心冷卻控制，不更換整套基礎設施，把冷卻能耗降低約 40%。

如果 AI 的下一步真的卡在能源與資料搬移成本上，那麼把智慧層接到既有設備上，跟把記憶體疊到 GPU 上方，處理的其實是同一件事的兩端。