Google DeepMind 研究團隊提出了一種加快 AI 訓練的新方法——多模態(tài)對比學習與聯(lián)合示例選擇（JEST），大大減少了所需的計算資源和時間。

JEST使大型語言模型訓練迭代次數(shù)降低13倍，計算量減少10倍。這項技術可能重塑AI的未來，對減少能耗和提高訓練效率具有重要意義。

總體來說，JEST 方法展現(xiàn)出了“數(shù)據(jù)質(zhì)量引導”（data quality bootstrapping）方法的巨大潛力，即使用小規(guī)模精選數(shù)據(jù)集來指導對更大的、未經(jīng)管理的數(shù)據(jù)集的學習。

無論是使用 JEST 參考模型對數(shù)據(jù)集進行預評分，還是通過可學習性評分來根據(jù)模型需求進行動態(tài)調(diào)整，都可以成為通用基礎數(shù)據(jù)集的更有效率的替代方案。當然，該方法仍存在一定局限性，雖然 JEST 同時實現(xiàn)了性能增益和訓練成本降低，但依舊依賴于小型、精心管理的參考數(shù)據(jù)集，它指定了未經(jīng)管理的更大數(shù)據(jù)集中優(yōu)先考慮的分布。