0.35美元vs 5美元，硅谷巨頭的Token價格戰！不僅“卷”價格，還在拼推理速度

每經記者 文巧    每經編輯 蘭素英    

圖片來源：視覺中國

5月以來，國內大模型打響了“價格戰”。從每百萬個Token只要1塊錢，到只要8毛錢、5毛錢……國內大廠如字節跳動、阿里、百度、智譜AI、科大訊飛等不斷接力，有廠商甚至直接打出了“免費”的口號，震驚整個科技圈子。

實際上，硅谷也在上演著類似的情形?！睹咳战洕侣劇酚浾咦⒁獾?，硅谷大模型的價格也出現了下降趨勢。

API價格戰首先在OpenAI和谷歌這對“老對手”之間展開，不過幅度相對較小。其中，OpenAI的GPT-4o調用API的價格比GPT-4-turbo降低了一半，為5美元/百萬Tokens，谷歌Gemini 1.5 Flash的價格降到了0.35美元/百萬Tokens。

到底是什么在左右API“價格戰”？在降價之外，有媒體指出，加快模型推理速度（即每秒生成Token的數量）也是硅谷大模型市場的主要競爭點。但“卷”價格、“卷”速度真的會贏得未來嗎？

硅谷在“拼”什么？

5月中旬，字節跳動豆包以0.0008元/千Tokens的價格直接將國內大模型的市場價格帶入“厘時代”。隨即，大模型廠商便開始了價格上的角力。百度甚至直接祭出“文心大模型兩大主力模型全面免費”的大招，直接將“價格戰”推向新的高度?？拼笥嶏w、騰訊等也“坐不住”了，要么降價，要么免費。

短短數天，國內大模型企業的混戰便從“低價”走向了“免費”。而在硅谷，類似的情形其實也在上演。

《每日經濟新聞》記者注意到，實際上，降低API價格和推升AI推理速度也已逐漸成為硅谷各大模型提供商的競爭焦點。

API價格戰首先是在OpenAI和谷歌這對“老對手”之間展開的。當地時間5月13日，OpenAI發布全新模型GPT-4o，該模型支持免費試用，據傳未來將供用戶免費試用。此外，調用GPT-4o API的價格比GPT-4-turbo降低了一半，為5美元/百萬Tokens。

在第二天的谷歌全球開發者大會上，谷歌宣布當家王牌Gemini大模型系列之一Gemini 1.5 Flash 的API價格為0.35美元/百萬Tokens，遠低于GPT-4o的價格。

比GPT-4o更具性價比的還有硅谷當紅AI初創公司Anthropic和Mistral AI模型的API價格。 

圖片來源：每經制圖

除了“拼”模型調用價格，有媒體指出，硅谷AI芯片公司正以加快模型推理速度——即每秒生成Token的數量——以吸引客戶。例如，美國芯片廠商Groq公司專注于提高每秒生成Token的數量，以此作為其主要的市場競爭點。

據科技外媒Medium今年4月的報道，Groq最新的AI芯片在Meta的開源模型LLaMA 3上達到了驚人的每秒生成800個token，并稱這“標志著AI推理效率和能力的巨大轉變”。截至目前，英偉達一直主導著AI芯片市場。該報道分析認為，Groq的最新成就可能將對英偉達的統治地位構成嚴峻挑戰。

根據Groq的數據，許多開源模型據稱在Groq芯片上的運行速度都得到提升，例如，Mixtral8×7B版本每秒輸出500個Token；Llama 2 70B版本每秒輸出300個Token。

《每日經濟新聞》記者查詢數據發現，當前配備英偉達芯片處理的硅谷熱門大模型推理速度遠低于此。例如，GPT-4 Turbo每秒生成約48個token，GPT-4為每秒約10個token；谷歌的Gemini 1.5 Pro約為每秒54.2個token。 

圖片來源：每經制圖

API“價格戰”背后：模型性能差距正在減小

硅谷為何也會面臨大模型的API“價格戰”問題？這主要是跟模型的性能有關。

上個月，紐約大學知名教授Gary Marcus發表了一篇名為《證據表明LLM正達到收益遞減點》的文章，駁斥了賓夕法尼亞大學沃頓商學院教授Ethan Mollick的一個觀點，后者聲稱目前對大型語言模型改進率的最佳估計顯示，能力每5~14個月翻一番。

Gary Marcus認為，從某些指標來看，在2020~2023年間，大模型的能力的確遵照上述定律翻了一番，但在過去13個月里這種情況并未發生。“相反，我看到許多跡象表明我們已經進入了收益遞減期。”他這樣寫道。

若以MMLU（一種常見的大模型基準指標）為基準，可以看到，從GPT-2到GPT3再到GPT-4呈現了飛躍式的遞增，但GPT-4到今年4月發布的GPT-4 Turbo的能力改進并不明顯。

圖片來源：《證據表明LLM正達到收益遞減點》

其次，自GPT-4發布以來，硅谷各大模型的能力正在趨同。LiquidAI的機器學習科學家Maxime Labonne在X平臺上表示，表現最好的閉源模型（GPT-4級別）和開源模型在性能上的差距正在越來越小。

圖片來源：X平臺

與此同時，隨著企業對定制化大模型的需求越來越高，硅谷科技公司正在推出一系列小模型，例如微軟在4月推出了名為Phi-3 Mini的輕量級模型。The Information分析稱，像Phi這類小型模型的激增可能會削弱OpenAI的主導地位。

據The Information，微軟產品團隊已經將內置的GPT-4換成開源模型，以在Bing等產品中執行更基本的任務。而最初為 OpenAI大模型支付高價的一些公司，近期開始轉向包括開源模型在內的更便宜的競爭對手。

隨著GPT-4之后模型能力的趨同，以及更多開源模型和小模型的出現，競爭加劇之下，高價大模型的降價似乎是一種必然。

“卷”價格、“卷”速度并非終點

然而，一味“卷”價格會有未來嗎？

眾所周知，算力成本是開發大模型無法繞過的難點之一。根據斯坦福大學HAI研究所今年發布的AI報告，訓練巨型模型的成本呈指數級增長，谷歌Gemini Ultra的訓練成本估計為1.91億美元，GPT-4的訓練成本估計為7800萬美元。

據報道，Anthropic的CEO此前曾表示，目前正在訓練的模型成本已接近10億美元，到2025年和2026年，將飆升至50億或100億美元。

科技巨頭已經在硅谷大模型領域建立牢固的立足點，前沿基礎模型市場呈現出強烈的市場集中化趨勢。分析認為，價格戰持續下去，公司利潤勢必被擠壓，財力雄厚的科技巨頭尚有基礎，但初創公司則可能面臨風險。

對于大模型公司來說，提升模型性能才是贏得競爭的最終手段。正如Gary Marcus所講，如果收益遞減的趨勢持續，低級錯誤無法修正，大模型可能永遠無法到達黃金時段。

另一方面，對于芯片廠商來說，“卷”每秒生成Token的數量仍然更多只是一種噱頭，縮短第一個Token生成的時間或將成為下一個新的競爭點。

盡管Medium分析認為，每秒生成Token數量的提高等同于推理能力的上升，但硅谷AI公司SambaNova在5月初發表的一篇博客文章中表示，當涉及到一些較為復雜和繁重的長文本任務時，每秒生成Token數量并非最重要的指標，也不能全面反映大模型的推理性能。而相對地，第一個Token生成的時間才更加重要。

這篇文章直白地指出，對每秒高Token數量的追求可能是一種“炒作”。盡管其確實可以實現令人印象深刻的解碼速度，但存在芯片利用率低，第一個Token生成速度較慢，難以處理較長的文本輸入等重大缺點。