ChatGPT 訪問量首次下滑，“降溫”背后大模型需要冷思考

文匯報資料照片

(相關資料圖)

大模型似乎沒那么 " 熱 " 了。今年 6 月，ChatGPT 訪問量環比下滑 9.7%，為其推出以來首次下滑。從全球范圍看，盡管不斷有企業發布或更新大模型，但媒體和公眾似乎沒那么 " 上頭 " 了。

在昨天舉行的 2023 世界人工智能大會青年優秀論文獎頒獎儀式暨青年科學家論壇上，復旦大學計算機科學技術學院教授邱錫鵬直言，雖說是 " 百模大戰 "，但各家大模型之間同質化嚴重，實質性的創新比較少。事實上，大模型遠未到變成一個單純的工程問題的時候，距離人們理想中的通用人工智能，其本身還有許多科學問題亟待解決。

" 百模大戰 " 其實是擠同一條賽道

" 大模型還有科學價值嗎？" 邱錫鵬在開場白中似乎就給大模型澆了一盆冷水。大模型的爆火并非偶然，是幾十年科研不斷推進的結果，但在 ChatGPT 爆火后，一個明顯的變化是這一領域中科學進步少了，大家都寄希望于通過工程手段 " 大力出奇跡 "。

比如，現在幾乎所有的大模型預訓練都基于 Transformer 架構，這固然是一個非常好用的架構，但其弊端也愈發顯現，它所耗費的計算資源非常龐大，需要超級算力的支撐。

另外，生成范式成為主流，這使得想要使用大模型，就必須將自己的任務變成生成式的，即便是那些非常復雜的結構化預測問題也都要用生成式方法解決。甚至，連生成式范式也在趨向統一，原先還有 Seq2Seq（一種用于序列到序列的深度學習模型）和 LM（語言模型）兩大類，現在只剩下后者。

而且，研究領域也在萎縮。邱錫鵬說，以自然語言處理（NLP）為例，2015 年之前，這個領域還有多個不同方向，比如對話、問答、機器翻譯等，那時的學者各自有著自己的研究，并從別的研究領域中獲得靈感，而現在大家都涌向大語言模型這條單一賽道。

大模型面臨 " 十大科學挑戰 "

盡管大模型展現出通往通用人工智能的潛力，但這條路并不好走。邱錫鵬列出了大模型亟需解決的 " 十大科學挑戰 "，包括架構設計、思維鏈、幻覺、多模態延展、自動化評價、平民化等。其中，大模型的架構創新是當務之急。邱錫鵬說，大模型之所以稱為大模型，是因為其龐大的數據量使其擁有了涌現的能力，雖然人們至今不知道涌現是如何發生的，但是否有涌現是區別大模型與小模型的主要特征。換言之，想要大模型更智能，繼續擴大其規模是一條顯而易見的路。

但是，當下主流的 Transformer 架構已經制約了模型的進一步擴大。這是因為 Transformer 的復雜度是輸入字符長度的平方級，每多輸入一個字符，計算量就會以指數級增長。因此，" 只有找到更高效的新架構，才能支持未來模型規模的進一步擴張。"

另一個對大模型發展至關重要的問題是評價體系。盡管當下有許多測評大模型優劣的榜單，但業內對此并沒有形成統一標準。而且對于擅長 " 刷題 " 的大模型來說，很多數據集上的表現已不足以衡量其真實能力。

顛覆性創新常在 " 冷門 " 處

深入研究創新規律不難發現，越是扎堆的 " 熱門 " 圈子，往往難出顛覆性創新成果，ChatGPT 本身就是個 " 冷門選手 " 爆火的案例。在其火遍全球之前，在大語言模型領域，谷歌的 " 理解與生成相結合 " 的路線是絕對的主流，在這種情況下，研發 ChatGPT 的 OpenAI 公司仍然選擇堅持走自己的路。

現在，原本默默無聞的生成式 AI 成為了 " 頂流 "。當人們一哄而上投入其中時，仍有一部分人還在堅持以 IBM 沃森機器人為代表的 "AI 符號主義 " 技術路線。以 " 爆款 " 常偏愛 " 冷門 " 的創新規律來看，或許未來的 " 核爆點 " 會獎勵默默堅持的 " 少數派 "。

事實上，獲得今年世界人工智能大會最高獎項 SAIL 獎（卓越人工智能引領者獎）的論文《機器學習結合阻抗譜技術預測鋰電池老化》，就不是一個關于大模型的研究。文章第一作者、中山大學物理學院副教授張云蔚說，她只采集了 2 萬個電化學阻抗譜，就實現了 AI 精準建模。比起海量數據，更重要的是思路。就是這樣一個小模型，將過去需要花費幾天才能實現的電池壽命預測縮短到了 15 分鐘，且檢測精度是原來的 10 倍。

在大模型爆火的半年多時間里，大家似乎形成了一種共識，即只有資金雄厚和數據儲備充足的大廠才有進軍大模型的資格。對此，邱錫鵬認為，大模型還有大量科學問題需要攻關，這些問題除了預訓練階段需要耗費大算力外，在對齊、指令微調等方面所需的算力并不高。而隨著算法的優化，3090 顯卡足以能完成大模型的研究，這是一條小公司也能 " 出奇跡 " 的賽道。

作者：沈湫莎

* 文匯獨家稿件，轉載請注明出處。

關鍵詞：