ChatGPT是個通才，可以與各行各業的人們對話，因為它用來訓練的語言，來自整個網絡和人類所有的知識寶庫，并且建立在一個看似無所不包的知識體系之上。

無論是ChatGPT之類的聊天機器人，還是其他的內容生成技術與應用，背后都是日益強大的學習和訓練的計算系統，它們被稱為大型語言模型（LLM），動輒設置成千上萬億個參數。機器很難像人類一樣通過推理來進行有效的學習，所以機器學習的能力很大程度上依賴于海量的數據。

【資料圖】

但是，人類的語言是有限的，當計算機建立起越來越巨大的算力和強大的算法，自然語言作為“原料”供應，是不是終有一天像石油一樣，被人類開采枯竭？當前的機器學習模型依賴于不斷增長的巨大數據集，其發展趨勢是否可能會放緩？

是的，語言數據資源是有限的，高質量的語言數據更是有限的。

來自阿伯丁大學、麻省理工大學、圖賓根大學的Pablo Villalobos等6位計算機科學家，近日發布了一篇論文，名為《我們會用完數據嗎？機器學習中數據集縮放的局限性分析》。他們開發的概率模型，估算了2022年至2100年之間可用的語言和視覺數據的總量，估計了語言和視覺模型訓練數據集規模的演變趨勢，試圖發現由于可用數據耗盡而導致的趨勢的極限。

目前絕大多數存量數據是用戶生成的，存儲在社交媒體平臺、博客、論壇等。有三個因素決定了在一個給定的時間段內產生多少內容：人口數量、互聯網滲透率、每個互聯網用戶產生的平均數據量。

互聯網上的大部分文本數據對訓練大型語言模型（LLM）都沒有用，專業人士通常只使用高質量的數據來訓練模型，因為這是他們希望模型學習和效仿的語言類型。常見的高質量數據的來源是書籍、新聞文章、科學論文、維基百科和過濾后的網頁內容。這些數據源的一個共同特性是，它們經過了質量和有用性的篩選。例如，在新聞、科學文章或開源代碼項目中，有用性必須由專業標準（如同行評議）的篩選產生。

他們發現，語言數據枯竭情況比視覺數據嚴峻得多。

語言和視覺模型的數據存量的增長速度比訓練數據集的大小慢得多，所以如果按照目前的趨勢繼續下去，數據集最終會因為數據枯竭而停止增長。

對于語言模型來說，數據耗盡的情況將在2030年到2040年之間發生。語言大模型的訓練數據主要來自互聯網，現在的模型越做越大，已經把網上能收集到的網頁數據用的差不多了，或者說隨著算力投入的進一步增加，基本上能夠把網絡上收集到的數據全部用盡。

近在眼前的擔憂是，高質量語言數據在 2026 年之前耗盡。

高質量數據增長的放緩是不可避免的，對于高質量的語言數據來說尤其如此。高質量的數據集通常包括了50%的用戶生成內容，15%~20%的書籍，10%~20%的科學論文，近10%的代碼和近10%的新聞。

研究人員估算了數字化書籍、公共GitHub和科學論文中可用文本的全部數量，并假設其占據高質量數據集的30%到50%之間，從而預測出當前高質量語言數據的總存量為9萬億（即9e12，上下限大概為4.6萬億到17萬億）個單詞，每年增長率為 4% 到 5%。以高質量語言數據庫作為上限來預測語言數據集的增長，放緩發生得更早，在2026年之前。

相比之下，低質量語言數據的存量在69萬億~7.1億億個單詞之間，當前增長率在6.41%至17.49%之間。其中，谷歌這樣資金雄厚的大公司可用的數據存量約為100萬億個單詞；所有科技公司可用的約為1000萬億個單詞；全人類擁有約1億億個單詞，也包括了所有的短信、電話和視頻會議等所產生的數據。低質量數據集先是隨著時間推移會快速增長，達到2030年后，增長會大幅放緩，直到耗盡數據存量。

視覺數據的情況要復雜一些。

現在互聯網上的存量視覺數據數量在8.1萬億到23萬億之間，目前的年增長率在8%左右，視覺模型數據耗盡的情況將在2030年到2060年之間發生，相對于語言模型來說，目前看起來情況還沒有那么嚴重。IDEA研究院計算機視覺與機器人研究中心講席科學家張磊博士認為，主要原因是視覺數據的維度和復雜度要更高，使得現有模型能夠使用的數據量和網上存在的數據量相比還有比較大的差距。

“視覺數據更復雜，視覺方面的問題也更多樣化?，F在的視覺大模型通常都是針對全圖（whole image）理解的預訓練，即模型只是針對全圖做分類或圖文檢索類的學習，但是視覺還有很多細粒度的問題，比如物體檢測、視覺分割等，大模型學到的全圖表征用于細粒度問題也會性能遞減。這些困難使得視覺模型還不能簡單地用增加數據的方法來解決?！?/p>

張磊博士還強調，視覺模型繼續增加數據量，獲得的增益也會逐漸變小，這也需要視覺算法方面的進一步改進，因此，視覺大模型目前還沒有達到單純增加數據提高效果的階段，還有更多的問題需要研究。

如果未來數據效率提升，大模型用更少的數據就能實現相同的功能；如果證明縮放定律是錯誤的，即使數據效率沒有額外的提升，或許還有更好的方法來使用更少的數據；如果通過遷移學習，多模態模型可能被證明比單一模態的模型表現得更好，這將有效地增加數據存量，從而擴大所有數據模態存量的組合。

合成數據將來是一個重要的數據來源，這一點受到最近騰訊發布的AIGC報告的極度看好。MIT科技評論將AI合成數據列為2022年10大突破性技術之一；Gartner也預測稱，到2030年合成數據將徹底取代真實數據，成為訓練AI的主要數據來源。

此外，一些非自然語言的數據也會大量產生。例如，如果大規模采用自動駕駛汽車將導致空前數量的道路視頻記錄；如果擁有充足的預算（如有政府或大公司的參與），也許能夠增加數據的產出，特別是在針對特定領域的高質量數據。

目前一個問題仍在擺在眼前：更多的數據難道一定就會“喂養”出更好的模型嗎？也不一定。正如前文張磊博士所說的，“目前視覺模型的相關困難還不能簡單地用通過增加數據的方法來解決?！?/p>

關鍵詞：