鈦媒體 2024-02-22 10:32:19
就在剛剛，谷歌扔下“震撼彈”。
北京時間2月21日晚21點，美國科技巨頭谷歌（Google）宣布推出全球性能最強大、輕量級的開源模型系列Gemma，分為2B（20億參數）和7B（70億）兩種尺寸版本，2B版本甚至可直接在筆記本電腦上運行。
谷歌表示，Gemma采用與 Gemini 模型相同的研究和技術，由Google DeepMind 和谷歌其他團隊開發，專為負責任的 AI開發而打造。谷歌聲稱，Gemma 模型18個語言理解、推理、數學等關鍵基準測試中，有11個測試分數超越了Meta Llama-2等更大參數的開源模型。
平均分數方面，Gemma -7B 的基準測試平均分高達56.4，遠超過Llama-13B（52.2）、Mistral-7B（54.0），成為目前全球最強大的開源模型。
谷歌和Alphabet公司CEO 桑達爾·皮查伊（Sundar Pichai）表示，Gemma展示了強大的性能，從今天開始，該模型將在全球范圍內提供，并可在筆記本電腦、工作站或谷歌云上運行。
Google DeepMind CEO Demis Hassabis表示，輕量開源的Gemma是同類尺寸中性能最佳的模型。
如今，谷歌不僅將對手瞄向OpenAI，而且打算占據一切，新模型將比扎克伯格的Llama-2“遙遙領先”。
圖片來源：每經記者 鄭雨航 攝
自Gemini發布至今，谷歌持續在 AI 方面“狂飆”。
2023年12月，谷歌推出全球最強大、最通用的多模態通用大模型：Gemini，中文稱“雙子座”，共包括三個不同尺寸版本：Ultra（超大杯）、Pro（大杯）和Nano（中杯），全面內置最新、最強大的自研 AI 超算芯片Cloud TPU v5p。
谷歌表示，在六項基準測試中，Gemini Pro性能表現優于GPT-3.5；而在30項性能基準測試中，Gemini Ultra超越了目前最強模型GPT-4，甚至在數學、物理、法律等57個領域測試中成為全球第一個超越人類專家水平的 AI 模型。
如此強大的 AI 技術，谷歌必然要持續推進。
所以，谷歌不僅統一了 AI 人才和算力資源，而且全力投資Gemini。今年1月，谷歌宣布全球一項大模型基準測試中Gemini超越GPT-4；2月，谷歌宣布對標ChatGPT的 AI 聊天機器人平臺Google Bard更名為Gemini，并推出安卓版本的獨立App，以及發布史上性能和功能最強大的Gemini Ultra 1.0模型等。
然而，2月中旬Gemini 1.5發布的同時，OpenAI全新視頻生成模型Sora突然亮相，一經面世瞬間成為頂流，話題熱度只增不減。所有人都在討論Sora為行業帶來的改變，但這讓谷歌在 AI 領域的努力一下子“黯然失色”。
僅過了不到半個月，如今，谷歌卷土重來，正式推出全球最強大的開源模型Gemma。
相比ChaGPT和Gemini，Gemma可能更適合較小規模的任務，例如簡單的 AI 聊天或摘要。
谷歌表示，Gemma其靈感來自于此前谷歌發布的Gemini大模型，名字在拉丁語中意為“寶石”。
具體來說，谷歌此次主要展示Gemma模型架構、性能表現、自研芯片、訓練基礎設施、軟件工具、碳減排、安全和評估、負責任等多個方面的努力。
其中，模型架構方面，Gemma基于谷歌Gemini模型以及Transformer自注意力機制的深度學習技術研發，Gemma 2B 和 7B 分別針對來自網絡文檔、數學和代碼的 2T 和 6T 規模英文標注數據進行訓練。與Gemini 不同，這些模型不是多模式的，也沒有針對多語言任務的最先進性能進行訓練。
不僅如此，Gemma還使用了改進后的多頭注意力、RoPE嵌入、GeGLU激活函數等新的技術，旨在文本領域實現通用能力，同時具備最先進的理解和推理技能。
性能表現方面，根據技術文件，Gemma在MMLU、MBPP等18個基準測試中，有11個測試結果超越了Llama-13B或Mistral-7B等模型。
自研芯片方面，谷歌Gemma使用自研 AI 加速芯片TPUv5e進行訓練。其中7B模型在16個Pods上訓練，2B模型在2個Pods上訓練，每個 Pod 可占用的 256 個芯片更少，v5e 經過優化，可以成為轉換器、文本到圖像和卷積神經網絡 (CNN) 訓練、微調和服務的最大價值產品。
而通過TPUv5e，Gemma模型可在文本領域實現強大的通用能力，同時具備最先進的理解和推理技能。
值得一提的是，谷歌今天還宣布與英偉達（NVIDIA）展開合作。這意味著，Gemma不止使用TPUv5e芯片，而且使用NVIDIA GPU 來優化 Gemma 模型。
軟件工具層面，谷歌發布了全新 AI 軟件工具包，名為Responsible Generative AI Toolkit，從而幫助開發者和研究人員優先構建安全和負責任的 AI 應用。此外，Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架工具，并支持基于 Google Cloud 的優化，以及在筆記本電腦、臺式機、物聯網、移動設備和云端等多個跨設備中兼容，從而讓Gemma實現推理和微調。
除了上述提及的層面，谷歌還在碳減排、安全和評估、負責任等方面有新的進展。其中，預訓練Gemma模型的碳排放量大大減少，約為131000噸二氧化碳；同時Gemma使用過濾后的預訓練數據集，以減少不安全內容的風險；以及通過監督式微調和基于人類反饋的強化學習（RLHF）進行微調。
谷歌表示，在人類偏好評估中，Gemma在遵循指令和基本安全協議方面的表現優于Mistral v0.2 7B Instruct模型。
另外，Google DeepMind采取結構化的方法來確保模型的負責任開發和部署，包括評估潛在的社會影響。
谷歌 DeepMind 產品管理總監 Tris Warkentin 表示，由于擔心開放模型存在部分風險，該公司“對 Gemma 進行了更廣泛的紅隊（專家、開發者等內部對抗性測試的外部團隊）”，從而提前挖掘出了更多 AI 系統存在的缺陷和風險。
圖片來源：每經記者 鄭雨航 攝
技術論文顯示，此次參與谷歌Gemma開源模型的研發人員數量高達57位。
其中包括核心貢獻者（Core Contributors）14人，參與者（Contributors）達35人，產品管理（Product Management）2人，項目管理（Program Management）1人，執行贊助人（Executive Sponsors）5人。此外，谷歌還對內部其他多個團隊進行感謝。
據鈦媒體AGI通過Kimi Chat提供的信息、研發者名字進行梳理和猜測，此次參與Gemma模型研發的57人中，可能有大約一半以上（31人）的開發者來自亞洲，或與華人或具有華人血統的個人有關。
例如，谷歌Gemma團隊當中的Le Hou（侯樂）博士，曾是谷歌FLAN-T5技術的作者。
在加入谷歌之前，侯樂在紐約州立大學石溪分校獲得了博士學位。博士在讀期間，他專注于分析高分辨率圖像，如衛星和醫學圖像。
侯樂在谷歌的研究主要集中于NLP方面，包括高效的語言模型訓練、指令微調和提示工程等，核心能力是通過更好的微調和提示工程來提高最先進語言模型的推理能力。
而谷歌Gemma團隊另一位華人Geng Yan，也是 AI 領域大神級人物。他畢業于浙江大學計算機科學系，隨后在美國美國卡內基梅隆大學完成計算機視覺專業的碩士學位。
Geng Yan曾在商湯、亞馬遜等公司任職過，主要研究 AI 機器算法技術。2022年，他曾在谷歌參與研發追蹤面部的 AI 模型Google Facemesh，并在谷歌相機自拍、谷歌Pay等多個場景產品中發揮更大作用。
事實上，據The Information報道稱，目前谷歌公布的最新論文中，Gemini的研發團隊超過800人。因此，參與Gemma研發人員占比可能只有Gemini團隊的7.1%。
人員少，但Gemma性能和效果毫不遜色。
然而，谷歌也在技術報告中坦言，盡管Gemma模型在性能、安全性和負責任開發方面實現了突飛猛進的進展，但谷歌承認“此發布是不可逆轉的“，并且開放模型造成的危害尚未明確定義。谷歌仍需要進一步研究來創建可靠、按預期執行的穩健、安全的模型。
“因此我們將繼續采取與這些模型的潛在風險相稱的評估和安全緩解措施。”谷歌表示，Gemma在6個安全基準以及人類并行評估方面均優于競爭對手。
Warkentin 表示，Gemma模型目前先適配了英語這一廣泛語言，但他也指出，未來谷歌團隊也“希望能夠與社區共同努力，滿足英語任務之外的市場需求。”
目前，開發者可以在 Kaggle 中免費使用 Gemma，首次使用 Google Cloud 的用戶將獲得 300 美元的積分，并可申請高達 50 萬美元的Google Cloud積分來使用這些模型。
具體可通過ai.google.dev/gemma進行查詢。
另外，谷歌方面今晨還宣布，Google One AI Premium正在將Gemini整合到谷歌Gmail、Docs、Sheets、Slides和Meet當中，提供書寫、校對和生成圖像等 AI 增強功能。而作為賬戶付費產品，前兩個月免費使用，之后每月19.99美元。
三個月發布三款大模型系列，谷歌 AI 技術的更新迭代之快，讓人始料未及。
OpenAI CEO奧爾特曼（Sam Altman）曾私下表示，與谷歌相比，OpenAI在算力上處于劣勢。
在 AI 三要素中，谷歌在算力、算法、數據方面都具有很明顯的技術領先優勢。那么如今，谷歌連續發布Gemini、Gemma模型，全面覆蓋開源和閉源方向，希望成為“AI 行業王者”的野心暴露無遺。
我們預計，接下來Gemma將成為開源社區的關注焦點。
谷歌開發者 X 副總裁兼總經理、谷歌開發者關系主管 Jeanine Banks 認為，Gemma 模型“感覺像是谷歌從TensorFlow 等工具開源 AI 開發技術的歷史的延續”的最新 AI 系統，從PaLM2、AlphaFold到Gemini，最后形成了Gemma。
“我們認為，如果谷歌能夠成為 API 和開放模型的唯一提供商，為社區提供最廣泛的功能集，那就完美了。”Jeanine Banks表示。
接下來，我們就看“跌落神壇”的開源模型Meta Llama如何再接招了。
（作者：林志佳）
封面圖片來源：每經記者 鄭雨航 攝
特別提醒：如果我們使用了您的圖片，請作者與本站聯系索取稿酬。如您不希望作品出現在本站，可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP
