在近期的上海交大演講中，李牧為AI開發者帶來了一場乾貨滿滿的分享。他深入探討了大語言模型的發展、技術挑戰及未來趨勢，並結合自身經驗提出了多項寶貴建議。以下是他演講中的核心觀點，為各位AI開發者提供參考。
一、大語言模型與鏈單比喻
李牧以修仙小說中的「煉丹」過程形象地比喻了大語言模型的訓練過程。大語言模型由三大要素組成：算力、數據和算法。這三者的協同作用，類似於煉丹的過程——數據準備相當於「尋找煉丹的材料」，算法則是「丹方」，而算力則是「煉丹的火」。這個比喻不僅生動，還強調了AI開發中各要素的相互依賴性。
二、帶寬挑戰
當前大語言模型的訓練需要依賴多台機器進行分布式處理，然而GPU之間的數據傳輸帶寬成為了一大瓶頸。李牧指出，未來顯卡將會整合多張GPU，以縮短傳輸距離並提高效率，這將在一定程度上緩解帶寬限制的問題。
三、顯存大小限制
在訓練大語言模型時，顯卡的顯存大小成為了制約模型規模的關鍵因素。根據現有技術，GPU顯存的上限大約在200GB，因此未來最大可訓練的模型尺寸也許會限制在500B左右。
四、算力成本下降
李牧強調，隨著摩爾定律的影響，算力成本每年將減少一半。這意味著在選擇模型時，開發者應考慮未來一至兩年的發展，而非僅著眼於當前能夠實現的規模。
五、大語言模型趨勢
李牧預測，未來主流的大語言模型，其數據量會在10TB到50TB之間，參數量則在100B到500B之間。這些模型將成為語言處理領域的中堅力量。
六、語音模型新方法
在語音處理方面，李牧介紹了當前的主流做法，即將語音編碼後送至大語言模型進行處理。這種方式不僅降低了延遲，還能更充分地利用語音中的信息。
七、音樂模型的挑戰
雖然生成音樂的技術問題不大，但李牧指出，當前的主要挑戰在於版權和商業化問題。這些因素使得音樂生成技術的應用仍然受到限制。
八、圖像模型的進展
李牧提到，圖像生成模型正在迅速發展，生成的圖片越來越具有「神韻」，顯示出AI在這一領域的潛力。
九、視頻模型的挑戰
儘管圖像生成技術取得了顯著進展，但視頻生成仍處於早期階段。李牧強調，生成連續且一致性高的視頻圖片仍然是一個技術挑戰。
十、多模態模型趨勢
多模態模型的興起是近期的一大趨勢。這類模型通過結合多種數據形式（如圖像、語音、文字等），在各領域的應用前景廣闊。
十一、模型技術成熟度評分
李牧對各種模型技術的成熟度進行了評分：語言模型的成熟度在80到85分之間，音頻處理模型在70到80分之間，而視頻生成模型則僅有50分。這些評分反映了各技術領域的發展狀況與未來潛力。
十二、大語言模型應用分類
李牧將大語言模型的應用分為三類：
- 文科白領工作：當前模型已能完成80%到90%的文字處理工作。
- 工科白領工作：例如程式設計，雖然目前全面替代還早，但AI已能在一定程度上輔助此類工作。
- 藍領階段工作：如自動駕駛等，這是AI領域最具挑戰性的任務，可能還需要5到20年的時間來實現。
十三、預訓練與後訓練的感悟
李牧分享了他在大語言模型訓練中的感悟。他認為，預訓練已經成為工程問題，而後訓練則更具技術挑戰。高質量的數據與改進的算法是提升模型效果的關鍵，並且後訓練的創新空間巨大。
十四、不同模型規模的經驗差異
李牧指出，在不同規模的模型間，調試經驗往往無法直接遷移。這意味著開發者在不同規模的模型上可能需要採取不同的策略。
十五、垂直模型的觀點
對於垂直模型，李牧認為並不存在真正的垂直模型。即便是一個在特定領域的模型，其通用能力也不容忽視。
十六、模型評估的重要性
李牧強調，模型評估在AI開發中的重要性。他建議，開發者應該在進行其他工作之前，先做好模型的評估，確保其在實際應用中的效果。
十七、數據與算法的關係
李牧總結道：「數據決定模型的上限，算法決定模型的下限」。他指出，優質的數據是成功的關鍵，並建議開發者花費70%到80%的時間在數據上。
十八、算力選擇
關於算力的選擇，李牧提到，自建與租賃GPU算力各有優劣，開發者需要根據數據量及成本來做出最佳決策。
十九、工作選擇的建議
最後，李牧對AI開發者的職業選擇提出了建議。他指出，打工、科研與創業各有不同的動機與挑戰，開發者需根據個人目標和興趣選擇最適合自己的道路。
這些觀點為AI開發者提供了寶貴的見解，尤其是在大語言模型的訓練、應用以及技術挑戰方面。無論是剛入行的新手還是經驗豐富的技術人員，這些建議都能幫助他們更好地理解並應對AI技術發展中的各種挑戰。
- 原视频链接：https://www.bilibili.com/video/BV175WQeZE7Z/?spm_id_from=333.337.search-card.all.click
- 李沐重返母校上海交大，从LLM聊到个人生涯，这里是演讲全文-51CTO.COM](https://www.51cto.com/article/795449.html)
- 五分鐘速讀：李沐上海交大LLM趨勢分享 https://www.youtube.com/watch?v=q9YKN9pCLpk
