OpenAI 開發(fā) GPT-4 曾耗費(fèi)了大量人力物力，而現(xiàn)在卻只需 5~10 人團(tuán)隊即可從頭走一遍這個流程。

OpenAI 首席執(zhí)行官薩姆?奧爾特曼（Sam Altman）今日在公司內(nèi)部播客中披露，得益于 GPT-4.5 的技術(shù)突破，重建 GPT-4 大模型所需團(tuán)隊規(guī)模已從數(shù)百人縮減至 5-10 人。

這一結(jié)論也獲得了 GPT-4.5 預(yù)訓(xùn)練負(fù)責(zé)人亞歷克斯?佩諾（Alex Paino）、數(shù)據(jù)效率研究員丹尼爾?塞爾薩姆（Daniel Selsam）等核心成員證實。

丹尼爾表示，“當(dāng)?shù)弥稠椉夹g(shù)已被實現(xiàn)，其復(fù)現(xiàn)難度就會大幅降低。我覺得，只要有可能，這就是一種巨大的作弊碼。”

佩諾表示，GPT-4.5 的設(shè)計目標(biāo)是比 2023 年 3 月發(fā)布的 GPT-4"智能 10 倍"，他還補(bǔ)充道，"通過這種 GPT 預(yù)訓(xùn)練流程的優(yōu)化，我們的規(guī)模也較之前拓展了 10 倍。"

此外，奧爾特曼還聲稱公司已突破 "算力制約" 瓶頸，而且他認(rèn)為世界尚未真正理解這一轉(zhuǎn)變。在此之前，各大科技公司已相繼投入海量資金用于 AI 基礎(chǔ)設(shè)施建設(shè)，其中微軟、亞馬遜、谷歌和 Meta 四家科技巨頭 2024 年 AI 基礎(chǔ)設(shè)施資本支出預(yù)計達(dá) 3200 億美元（現(xiàn)匯率約合 2.34 萬億元人民幣）。

OpenAI 認(rèn)為，技術(shù)瓶頸已從算力轉(zhuǎn)向數(shù)據(jù)效率領(lǐng)域（可能是指算力的邊際效用遞減，所以需要從算法方面尋求突破）。丹尼爾指出，當(dāng)前 GPT 系列模型數(shù)據(jù)利用率存在 "洞察深度天然上限"。

"當(dāng)算力持續(xù)擴(kuò)張時，數(shù)據(jù)增長速度明顯滯后，最終形成發(fā)展瓶頸。突破這一限制，需要通過算法創(chuàng)新，從同等數(shù)據(jù)量中榨取更高價值。"