【ITBEAR】科技媒體The Decoder于昨日發(fā)布了一篇引人注目的報(bào)道，披露了OpenAI公司最新推出的MLE-bench基準(zhǔn)。這一基準(zhǔn)旨在評(píng)估AI智能體在開發(fā)機(jī)器學(xué)習(xí)解決方案方面的實(shí)力，覆蓋了75個(gè)Kaggle競(jìng)賽，涵蓋了自然語言處理、計(jì)算機(jī)視覺和信號(hào)處理等多個(gè)領(lǐng)域。
MLE-bench專注于兩個(gè)核心領(lǐng)域：選擇具有挑戰(zhàn)性的任務(wù)，這些任務(wù)代表著當(dāng)前機(jī)器學(xué)習(xí)的發(fā)展前沿；比較AI與人類的表現(xiàn)，以此評(píng)估AI在特定任務(wù)中的能力。
OpenAI在MLE-bench上測(cè)試了多個(gè)AI模型和智能體框架，其中使用AIDE框架的o1-preview模型表現(xiàn)尤為出色，在16.9%的比賽中至少獲得了一枚銅牌，這一成績(jī)甚至超越了Anthropic的Claude 3.5 Sonnet。
值得注意的是，MLE-bench上的任務(wù)具有現(xiàn)實(shí)世界的應(yīng)用價(jià)值，如預(yù)測(cè)COVID-19 mRNA疫苗的降解或解碼古代卷軸等。而獲得5枚金牌即可評(píng)為“Grandmaster”特級(jí)大師，o1-preview模型在測(cè)試中更是獲得了7枚金牌。
然而，OpenAI也承認(rèn)MLE-bench存在局限性，它并未涵蓋AI研究與開發(fā)的所有方面，而是主要集中在那些具有明確問題和簡(jiǎn)單評(píng)估指標(biāo)的任務(wù)上。
盡管如此，MLE-bench基準(zhǔn)的推出無疑為AI在機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展提供了新的推動(dòng)力。該基準(zhǔn)現(xiàn)已在GitHub上發(fā)布，OpenAI希望通過這一工具，進(jìn)一步推動(dòng)AI在機(jī)器學(xué)習(xí)領(lǐng)域的創(chuàng)新與應(yīng)用。
