近日，大模型競技場迎來了一次重大的規(guī)則更新，此次變動顯著影響了各大模型的排名，其中備受矚目的GPT-4o mini在新規(guī)則下排名大幅下滑，跌出了前十的行列。
據(jù)悉，新榜單對AI回答的長度和風(fēng)格等特征進(jìn)行了降權(quán)處理，旨在確保評分更加客觀地反映模型真正解決問題的能力，而非僅僅依賴于格式的華麗或回答的冗長。這一調(diào)整意味著，那些試圖通過增加小標(biāo)題數(shù)量、優(yōu)化排版格式等手段來刷榜的模型，將難以在此新規(guī)則下獲得優(yōu)勢。
據(jù)ITBEAR了解，除了GPT-4o mini之外，其他多款知名模型也受到了新規(guī)則的影響。例如，馬斯克的Grok-2系列以及谷歌的Gemini-1.5-flash小模型排名均有所下降，而Claude系列和Llama-3.1-405b大模型則在新規(guī)則下取得了更好的成績。
在只計算困難任務(wù)（Hard Prompt）的情況下，大模型在風(fēng)格控制榜單中的表現(xiàn)尤為突出，進(jìn)一步凸顯了其在處理復(fù)雜任務(wù)方面的優(yōu)勢。
此次規(guī)則更新得到了業(yè)界的廣泛關(guān)注。此前，GPT-4o mini一度登頂大模型競技場，與GPT-4o滿血版并列第一，然而這一排名與許多網(wǎng)友的實際體驗存在明顯差異。這也引發(fā)了關(guān)于大模型競技場評價標(biāo)準(zhǔn)的熱議，有觀點認(rèn)為該榜單過于側(cè)重用戶喜好，而非模型的實際能力。
為了回應(yīng)外界的質(zhì)疑，Lmsys組織公開了GPT-4o mini參與的1000場對戰(zhàn)數(shù)據(jù)，并深入分析了影響投票結(jié)果的因素。結(jié)果顯示，模型的拒絕回答率、生成內(nèi)容長度以及格式排版等因素均對投票結(jié)果產(chǎn)生了顯著影響?；诖耍琇msys推出了新的算法來控制這些因素，以期使榜單更加客觀公正。
新規(guī)則的實施不僅引發(fā)了模型排名的重新洗牌，也激發(fā)了業(yè)界對于大模型評估方法的更多思考。如何在確?？陀^性的同時，充分反映模型的實際能力，將成為未來大模型競技場面臨的重要挑戰(zhàn)。
對于普通用戶而言，大模型競技場的排名變動或許能為他們在選擇模型時提供一定的參考。然而，更重要的是結(jié)合自身的實際需求和體驗，來做出最合適的選擇。
