百度文心大模型4.0即將發布，萬卡訓練史上最大參數模型

　　近日，有媒體報道稱，百度正加緊訓練文心大模型4.0，這將是文心大模型3.5版本后又一個重磅版本。據報道，文心大模型4.0進展比預期快很多，將是基礎模型的大升級，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數學等方面提升最明顯。

　　10月10日，記者從百度內部人士基本確認了該消息，據悉，即將推出的文心大模型4.0的參數量、訓練數據量以及推理成本等都比3.5高出一個數量級。

　　今年3月16日，百度官宣新一代大語言模型“文心一言”啟動邀測，8月31日正式面向公眾開放服務。如今，文心大模型即將再度升級發布4.0版，如此迅速的大模型升級速度，在國內尚屬唯一。只不過，快速升級的背后，文心大模型4.0快速攀升的參數量、數據量所帶來的訓練和推理成本提升，也正在成為大模型商業化過程中需要考慮的重點。

　　據此前消息報道，相比文心大模型3.5，文心4.0不僅訓練成本在增加，推理成本也增加了很多，大概是此前的8-10倍。一直以來，百度并未對外披露大模型訓練、推理的各項成本，不過據國盛證券此前估算，GPT-3訓練一次的成本約為140萬美元，對于一些更大的LLM模型(如擁有2800億參數的Gopher和擁有5400億參數的PaLM)，訓練成本介于200萬美元至1200萬美元之間。作為國內大語言模型代表，文心一言想要在性能上追趕甚至超越ChatGPT等國外同行，所需耗費的資金成本，恐怕也將與之相當。

　　過高的訓練和推理成本壓力下，在打造領先的底層基礎大模型的路上，注定只能是一場巨頭間的游戲。不過對于百度而言，由于具備萬卡集群、飛槳、文心大模型以及豐富的百度應用生態優勢，獨具芯片、框架、模型及應用四層架構優勢，更具技術競爭力。

　　在進一步降低大模型算力成本和時間成本上，百度萬卡集群的整體優勢已得到充分體現——在萬卡集群訓練大模型時，常規方法下工程師們有30%-40%時間都花在容錯和故障恢復上，而在百度智能云自研的集群組網故障管理機制下，模型有效訓練時間達到95%以上，人力及算力資源均得到了利用。

　　真金白銀投入的背后，目前國外大模型廠商已開始嘗試收費模式，無論是在面向企業客戶的B端垂類大模型開發，還是面向消費群體的To C付費產品，均有不少案例。例如，在面向C端消費者付費領域，目前GPT-4已推出“每月支付20美元訂閱費”的收費模式。

　　可以預見，不遠的將來，以百度為代表的大模型企業們，或將陸續推出收費模式。在To C大模型AI應用層面，類似愛奇藝或百度網盤VIP會員的收費模式，也將不斷浮現，逐漸培養用戶付費習慣。