浙江大學人工智能研究所所長吳飛：ChatGPT的訓練門檻是1萬張英偉達V100芯片、約10億人民幣

每經記者 楊煜     實習生 張藝蕾    每經編輯 張海妮    

今日（4月8日），由中國人工智能學會主辦的“人工智能大模型技術高峰論壇”主論壇在杭州蕭山啟幕。論壇上，CAAI教育工委會主任、浙江大學人工智能研究所所長、求是特聘教授、國家杰青獲得者吳飛發表演講。

吳飛教授作了《從ChatGPT到GPT-4的分析與思考》主題報告，他指出，在ChatGPT的技術路線中，數據是燃料、模型是引擎、算力是加速器。

具體而言，數據方面，訓練中使用了45TB數據、近1萬億個單詞（約1351萬本牛津詞典所包含單詞數量）以及數十億行源代碼。模型方面，包含了1750億參數，將這些參數全部打印在A4紙張上，一張一張疊加后，疊加高度將超過上海中心大廈632米高度。算力方面， ChatGPT的訓練門檻是1萬張英偉達V100芯片、約10億人民幣，模型訓練算力開銷是每秒運算一千萬億次，需運行3640天（3640 PetaFLOPs per day ）。

吳飛表示，ChatGPT和GPT-4中以“共生則關聯”為核心的概率統計模型，體現了“計算獨大、表示豐富和機理式微”的特點，這也反映了計算機所體現的“試錯與暴力”優勢。吳飛還在報告中分析了GPT所包含1750億參數的涌現了合成能力，是多者異也的結果。吳飛表示：“我們不僅需要善于制造工具，還要善于去利用ChatGPT這個工具開創更加美好的時代，因為在人和人造物協同共長的時代，人有人的作用。”