面壁智能首席科學家劉知遠：提升知識密度是實現高效大模型的方向

每經記者 張韻    每經編輯 董興生    

大模型也有自己的“摩爾定律”？2024世界人工智能大會期間，深耕端側大模型的清華大學計算機系長聘副教授、面壁智能首席科學家劉知遠分享了他的研究思路：“如果擁有在端側有限的算力、內存、能耗條件下，將知識濃縮到更小的參數規模中的能力，那么便可探尋大模型的高效成長規律。”

圖片來源：每經記者 張韻 攝

在訓練大模型之前，劉知遠會在“模型沙盒”中做成百上千次演練。他解釋道，在小模型上高效尋找最優數據和超參配置，并外推至大模型，可找到一個更高的知識密度，從而帶來一個更加高效的模型。

劉知遠認為，如果說芯片制程會帶來終端算力持續增強，模型制程也將帶來模型知識密度的持續增長，那么兩者交匯將揭示端側智能的巨大潛力。因此，大模型時代會擁有自己的“摩爾定律”，即模型知識密度的持續增強。據劉知遠觀察，模型的知識密度呈現出每8個月提升一倍的規律。

劉知遠進一步得出結論，未來高效大模型第一性原理的關鍵詞便是知識密度，也就是每一次計算依托的參數規模所對應的能力消耗。當大模型數據驅動技術方向大致確定，模型的架構、算法、數據等技術方案卻仍在高速迭代，因此持續改進模型制程、極致提升知識密度成為行業努力的方向。