每日經濟新聞 2023-07-10 19:15:10
每經記者 朱成祥 每經編輯 文多
7月7日下午,天壤創始人、CEO薛貴榮接受了《每日經濟新聞》記者的專訪。在2023世界人工智能大會上,該公司發布了一種大模型產品生態——“天壤小白”。其中包含最高1860億參數的通用大語言模型、語義搜索引擎和開發平臺。
目前,國內已是“百?;鞈?rdquo;,天壤推出的大模型生態有何別致之處呢?薛貴榮首先向記者介紹了大模型存在的四大挑戰,即大模型產生真假難辨的“幻覺”,所謂“一本正經的胡說八道”;政企私有數據的保密性要求,不能對外公開;缺少可靠的企業級中文大模型;大模型存在封閉性,無法自動更新信息。
關于天壤如何解決大模型“一本正經的胡說八道”,薛貴榮表示:“用‘提示詞’去控制大模型,大模型還是會胡說八道。后來,有人嘗試輸入一些簡單的上下文,以及對大模型進行fine-tune,但這個也不夠。我們為了解決‘幻覺’問題,做了一個語義搜索引擎。先把需要的所有文檔,放到語義引擎里面,比如法律書、知識庫或者企業內部各種數據。該引擎使用了一個核心技術,即embedding。”
薛貴榮進一步解釋:“生成式模型,最大的特點就是結果的不確定性。”那么,如何提高生成式模型的準確性呢?
薛貴榮認為:“現在給你100個字,你的答案就在這100個字里面總結。”那么是否為了提高準確性,限定生成(內容)的范圍?薛貴榮回答稱:“你只能用這里面的內容,做一次理解上的修飾。”
據其介紹,上述限制是放在推理端。簡而言之,就是訓練好大模型,為了得出一個精確值,在推理端限定一個范圍。
薛貴榮介紹稱,目前公司主要有三個團隊,一個專門訓練大模型;第二個是Fine-tune,做行業專用模型;第三個是做應用提示。
對于天壤小白大模型通過什么算力訓練的?薛貴榮表示:“我們(基礎)大模型的算力是租的,比如租用蘇州超算(的算力),上海像商湯(的算力)我們也租。它們(商湯)有1萬多張A100。另外,我們家里也有大概300張卡,以3090為主。”
封面圖片來源:視覺中國
如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP