中國工程院院士鄭緯民：構建國產萬卡系統應避免“木桶效應”

每經記者 張宏    每經編輯 馬子卿    

12月12日，“突破新邊界·智見新未來”2024大模型技術與應用創新論壇在北京舉行。會上，中國工程院院士、清華大學計算機系教授鄭緯民表示，今年大模型發展有兩個特點，第一是基礎大模型進入多模態狀態，文本之外，還有圖像、視頻，也就是多模態。第二是“用起來”，“大模型+”應用于各行各業，如“大模型+金融”“大模型+醫療”“大模型+汽車”“大模型+智能制造”等。

中國工程院院士、清華大學計算機系教授 鄭緯民

他表示，我國在“大模型+”領域，有希望超過美國。通過講解大模型生命周期的五個環節，鄭緯民認為，當前大模型發展的難點在于算力、存儲、時間成本。構建國產萬卡系統重要但尚存困難，需要避免“木桶效應”。

算力、存儲、時間成本是大模型開發過程的難點

鄭緯民通過講解大模型生命周期的五個環節，闡述當前大模型發展的難點。他介紹，大模型生命周期的五個環節分別是數據獲取、數據預處理、模型訓練、模型微調和模型推理。

在數據獲取環節，核心任務是從全球各地收集訓練數據。盡管收集到的文件體積較小，有利于節省存儲空間，但數量極其龐大，達到數百億個。這些文件需要被存儲在硬盤上，并記錄其在硬盤上的具體位置，這個過程被稱為源數據處理。由于文件數量巨大，需要多臺計算機協同工作以存儲、記憶這些位置，這對計算機來說是一項挑戰。隨著位置數量的增加，查找特定文件的位置變得更加耗時，因此如何高效地存儲和檢索數據成為數據獲取階段的關鍵問題。

其次是數據預處理環節。在這一階段，收集到的數據由于質量參差不齊、格式不一致，并且包含廣告、重復內容等不需要的信息，因此需要進行預處理以提升數據質量。預處理包括去除重復內容、廣告等，以確保數據質量的提高能夠帶來更好的訓練結果。預處理過程相當復雜，據統計，在GPT4的訓練過程中，預處理占據了一半的時間，成為訓練效率的瓶頸。如何提高預處理的速度，是大數據處理中的一個難題。

第三階段是模型訓練。這一階段需要大量的算力和存儲空間，最終得到基礎大模型，面臨的問題眾多。例如，如果在訓練過程中硬件出現故障，就需要重新開始訓練。為了避免這種情況，可以在訓練到一定時間后主動暫停，記錄當時的硬件和軟件環境，以便在故障發生后能夠從記錄的點繼續訓練，而不是從頭開始。然而，對于大模型來說，訓練數據量巨大，主動保存數據到硬盤可能需要數小時，這會導致效率低下。因此，如何縮短這一過程，使其在10到20分鐘內完成，是訓練階段需要解決的問題。

第四階段是模型微調?；A大模型雖然已經訓練完成，但若要應用于特定領域，如醫療，還需要進一步的訓練。微調是在基礎大模型的基礎上，針對特定領域的數據進行的第二次訓練。例如，基礎大模型訓練數據中醫院的數據量太少，因此需要在基礎大模型的基礎上進行微調，以適應醫院的需求。這個過程可以繼續細分，例如，可以針對B超數據進行第三次訓練，以得到專門用于B超的模型。微調實際上是在基礎大模型的基礎上，根據不同領域的需求形成領域、行業大模型。

最后是模型推理階段，這是模型實際應用的過程。推理階段同樣需要大量的算力和存儲，并且耗時較長。整個大模型的開發過程都需要考慮到算力和存儲的需求，以及時間成本。

構建國產萬卡系統應避免“木桶效應”

談到產業期待，鄭緯民院士表示，構建國產萬卡系統（由一萬張及以上的加速卡，包括GPU、TPU及其他專用AI加速芯片，組成的高性能計算系統）很重要。目前，異地卡、異構卡訓練效果較差，資金有限的公司暫時不要考慮，資金充裕的公司可以嘗試。

首先，萬卡系統的重要性不言而喻，我們都非常希望能夠擁有這樣的系統，但目前的發展狀況并不理想，實現起來相當困難。構建國產萬卡系統不僅重要，而且難度很大。由于外部供應受限，我們迫切需要建立自己的萬卡系統，盡管這是一個艱巨的任務。對萬卡系統而言，所謂的“好”，指的是一旦建成，能夠被廣泛接受并認為好用，但要達到這樣的目標非常具有挑戰性。

目前，我們構建的卡系統用戶接受度如何？例如，第一塊卡來自A公司，第二塊來自B公司，第三塊來自C公司。當這些卡一起使用時，使用的效果取決于最差的那張卡。我們應該避免這種組合方式，建議減少數量，深入研究，避免“木桶效應”。1000個舊CPU和1000個新CPU組合使用時，性能甚至還不如單獨使用2000個舊CPU，我們為什么要這樣做呢？

其次，異地卡和異構卡在訓練中的效果非常差，目前不建議考慮。異構卡和異地卡的聯合訓練效果并不理想。在異構卡的情況下，問題變得更加復雜。即使是靜態情況下，我們也不將它們組合使用，中國人和美國人都不這樣做，因為不劃算。我們所說的聯合訓練，以及異地卡的問題，更是難上加難。例如，數據從北京傳輸到貴州可能需要5天時間，而貴州處理完結果再發送到上海又需要5天，這如何實現？因此，異構卡和異地卡的訓練效果不佳。資金有限的公司暫時不要考慮，資金充裕的公司可以嘗試。