DeepSeek公開大模型高效訓(xùn)練又一秘訣！這家公司盤中直線拉升7.5%，背后有什么聯(lián)系？

每經(jīng)記者 岳楚鵬    每經(jīng)編輯 蘭素英    

2月25日，DeepSeek開源周第二波來襲。

DeepSeek宣布開源DeepEP的代碼庫。DeepEP是首個(gè)用于混合專家（MoE）模型訓(xùn)練和推理的開源專家并行 (EP)通信庫。

和昨日開源的FlashMLA是核心技術(shù)MLA（多頭潛在注意力）的改進(jìn)版本一樣，DeepEP也是DeepSeek-V3核心技術(shù)EP的改進(jìn)版本。它提供高吞吐量和低延遲的全對(duì)全GPU內(nèi)核，適用于MoE的分發(fā)（dispatch）和合并（combine）操作。 

DeepSeek聲稱，DeepEP的特點(diǎn)包括高效的全員溝通；節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間均支持NVLink和RDMA；用于訓(xùn)練和推理預(yù)填充的高吞吐量?jī)?nèi)核；用于推理解碼的低延遲內(nèi)核；原生FP8調(diào)度支持；靈活的GPU資源控制，實(shí)現(xiàn)計(jì)算-通信重疊。

圖片來源：X

DeepSeek的官方解釋不免有些技術(shù)流，《每日經(jīng)濟(jì)新聞》記者邀請(qǐng)了DeepSeek模型來深入淺出地介紹下這一技術(shù)。

雖然EP技術(shù)能以較低的通信成本完成模型訓(xùn)練，但中金在最新的研報(bào)中認(rèn)為，這種通信設(shè)計(jì)技術(shù)的進(jìn)展并不一定會(huì)使高速通信的需求減少。

中金認(rèn)為，由于張量并行（TP）和專家并行（EP）的通信開銷比較沒有絕對(duì)的多少之分，受制于多種因素限制，因此在張量或?qū)＜也⑿械倪x擇上，需要具體問題具體分析，本質(zhì)上都是現(xiàn)有硬件條件下的平衡。通信方面大量使用專家并行而減少張量并行并不能證明高速互聯(lián)需求在更強(qiáng)基礎(chǔ)模型訓(xùn)練中呈下降趨勢(shì)。

值得注意的是，在DeepSeek宣布開源DeepEP軟件庫后半個(gè)小時(shí)，兆龍互連（300913.SZ）的股價(jià)直線拉升7.53%，但隨后回落，截至收盤，兆龍互聯(lián)報(bào)收于每股60.57元，下跌1.5%。

兆龍互連是一家什么樣的公司？和DeepSeek的開源有沒有關(guān)聯(lián)？

針對(duì)這一問題，每經(jīng)記者使用了每日經(jīng)濟(jì)新聞App的“問投資”功能尋找答案。

記者輸入兆龍互連的公司名后，頁面就彈出了股票趨勢(shì)、資金、機(jī)構(gòu)和概念等十大維度。

記者點(diǎn)擊“概念”維度后，發(fā)現(xiàn)兆龍互連是一家涉足高速通信設(shè)備（銅纜高速連接）的公司。不過，DeepSeek認(rèn)為兆龍互連的盤中快速反彈，是受短期情緒驅(qū)動(dòng)的，并沒有直接證據(jù)表明兆龍互連的股價(jià)和這項(xiàng)技術(shù)的開源有聯(lián)系。

不得不說，在每日經(jīng)濟(jì)新聞App里使用DeepSeek非常絲滑，不會(huì)碰見“服務(wù)器繁忙”的情況。目前使用量已經(jīng)超14萬次了！ 

咋用呢？超簡(jiǎn)單！

先下載每日經(jīng)濟(jì)新聞App

http://www.jxzk19.com/corp/2016app/index.html

再往下看

↓

一、 在每日經(jīng)濟(jì)新聞App首頁，點(diǎn)擊“DeepSeek”圖標(biāo)或首頁輪播圖“自由問+問公司問投資問基金免費(fèi)使用DeepSeek、Kimi、豆包等六款大模型”。 

二、 進(jìn)入“每經(jīng)大模型平臺(tái)”頁面，即可使用DeepSeek、Kimi、豆包、智譜清言、文心一言和通義千問6款大模型中任意一款。 

最近，每經(jīng)“136計(jì)劃”還增加了新功能： 

大模型解讀投資熱榜。  

只需點(diǎn)擊投資熱榜中的任意新聞。

立即就能得到大模型的全面分析。

還能一鍵生成圖片分享給朋友。

告別“服務(wù)器繁忙” 

快用每日經(jīng)濟(jì)新聞App吧！

免責(zé)聲明：本文內(nèi)容與數(shù)據(jù)僅供參考，不構(gòu)成投資建議，使用前請(qǐng)核實(shí)。據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。