「便宜AI」DeepSeek登場！為什麼deepseek會這麼便宜？

DeepSeek 的迅速崛起震驚了 AI 行業，不僅因為其技術實力，還因為它能夠以西方競爭對手成本的一小部分，提供最前沿的 AI 模型。據報導，DeepSeek 的旗艦模型 DeepSeek-R1 的訓練成本僅為 560 萬至 600 萬美元，這是 Meta 在 LLaMA 3 上花費 6000 萬美元的十分之一，且遠低於 OpenAI 用於 GPT-4 的預算——DeepSeek 重新定義了 AI 成本效益。

為什麼 DeepSeek 如此便宜？本文將探討 DeepSeek 在維持競爭力的同時，如何透過技術、戰略和地緣政治因素降低 AI 開發成本。

第一部分：創新架構，節省成本

DeepSeek 的可負擔性核心在於其軟體優先的策略，透過架構創新最大化計算效率。

專家混合（MoE）模型

• 與傳統模型在每個任務中激活所有參數不同，DeepSeek 的 MoE 框架將模型劃分為專門的“專家”，僅激活相關的專家。
• DeepSeek-V3 僅使用 370 億個活躍參數（總共 6710 億），減少了 80% 的計算開銷。

8 位精度訓練

• 透過採用 FP8（8 位浮點數）精度，而非像 BF16 或 FP32 等較高格式，DeepSeek 將記憶體使用量減少了最多 50%，同時保持準確性。
• 這使得可以在較少的 GPU 上訓練更大的模型，顯著降低硬體成本。

多頭潛在注意力（MLA）

• MLA 透過專注於關鍵的上下文數據來壓縮記憶體使用量，類似於記住一本書的“精髓”而不是每個字。
• 與稀疏激活相結合，它最小化了冗餘計算，提高了模型效率。

這些創新使 DeepSeek 能夠在使用更少資源的情況下，匹配 GPT-4 和 Claude 3.5 等模型的性能。

第二部分：硬體限制促使能源利用率提高

儘管存在硬體限制，為什麼 DeepSeek 如此便宜？答案在於美國的出口管制，這迫使 DeepSeek 必須使用像 NVIDIA H800 這樣的受限 GPU 進行優化，H800 是專為中國市場設計的 H100 降級版本。

優化的 GPU 利用率

• H800 減少了 NVLink 帶寬（400 GB/s 對比 H100 的 900 GB/s），最初降低了 GPU 之間的通信速度。
• DeepSeek 繞過了 NVIDIA 的 CUDA 框架，使用低層次的 PTX 編程直接控制 GPU 核心，彌補帶寬差距，實現了 90% 以上的 GPU 利用率。

自訂通信協議

• DeepSeek 開發了專有算法，如 HAI-LLM 框架，來優化任務分配，消除 GPU 閒置時間。

使用較小集群擴展

• 雖然 Meta 在 16,000 顆 GPU 上訓練 LLaMA 3，DeepSeek-V3 只需 2,048 顆 H800，降低了基礎設施成本和能源消耗。

透過將硬體限制轉化為競爭優勢，DeepSeek 展示了原始計算能力並非 AI 至高無上的唯一途徑。

第三部分：成本效益的訓練方法

除了 AI 模型架構，DeepSeek 的訓練方法論也針對成本效益進行了優化。

合成數據與知識蒸餾

• DeepSeek 透過依賴合成數據來減少數據獲取成本，這些數據由像 DeepSeek-R1 Lite 這樣的較小模型生成，而不是昂貴的人類標註數據集。

強化學習優化

• DeepSeek R1 使用強化學習來最小化訓練過程中的試錯循環，減少了浪費的計算。

部分 8 位訓練

• DeepSeek 並不對整個模型進行量化，而是對特定的權重和優化器狀態進行選擇性 8 位量化，這樣在保持準確性的同時，將記憶體效率提高了一倍。

這些做法使 DeepSeek 能夠在不到兩個月的時間內訓練出像 V3 這樣的 AI 模型，而 Meta 則需要多年的時間來開發 LLaMA 3。

第四部分：開源策略與生態系統杠桿作用

DeepSeek 之所以如此便宜，其中一個最大原因是其開源 AI 模型策略。

社群驅動的創新

• DeepSeek R1 和 V3 以 MIT 許可證發布，鼓勵全球貢獻，加速改進而不增加研發成本。

API 定價顛覆

• DeepSeek 的 API 定價為每百萬輸入代幣 0.55 美元，僅為 OpenAI 每百萬代幣 15 美元的 3.7%。
• 這吸引了初創公司和獨立研究人員，擴大了 DeepSeek 的使用者基礎，而無需大量的營銷開支。

蒸餾 AI 模型

• DeepSeek 提供了像 DeepSeek-R1 Lite 這樣的小型專用 AI 模型，使得對成本敏感的企業能夠在最小的 GPU 資源上部署 AI。

這與 Linux 的成功相似，證明了開源 AI 模型可以與專有 AI 巨頭競爭。

第五部分：地緣政治與市場因素

美中 AI 競賽意外地促成了 DeepSeek 成本效益的提升。

出口限制作為創新推動力

• DeepSeek 被拒絕使用 NVIDIA 的 H100 GPU，因此它針對 H800 進行了優化，證明了軟體創新可以彌補硬體差距。

較低的勞動力與研發成本

• DeepSeek 擁有來自中國頂尖大學的工程師團隊，因此與矽谷的 AI 初創公司相比，它的研發成本較低。

國內市場聚焦

• DeepSeek 首先瞄準了亞洲 AI 市場，在擴展到全球之前，精煉其具有成本效益的 AI 模型。

這些因素進一步提升了 DeepSeek 提供低成本 AI 的能力。

第六部分：挑戰與懷疑

儘管 DeepSeek 發起了低成本 AI 革命，但仍面臨數個挑戰。

隱藏成本

• 一些分析師認為，DeepSeek 的 600 萬美元數字並未包含預訓練實驗、數據收集和運營開支。
• 如果將基礎設施投資納入考慮，實際成本可能會超過 5 億美元。

擴展性擔憂

• DeepSeek 的訓練效率是為較小集群進行優化的，但隨著模型增大，擴展可能會變得更加困難。

地緣政治風險

• 由於信任問題和監管顧慮，西方 AI 市場可能會對採用中國的 AI 模型持保留態度。