【ITBEAR】為解決語言模型在回答問題時(shí)可能產(chǎn)生的“幻覺”問題，美國知名人工智能研究機(jī)構(gòu)OpenAI近日開源了一款新基準(zhǔn)——SimpleQA。
SimpleQA專注于評(píng)估模型在簡(jiǎn)短、事實(shí)性問題上的準(zhǔn)確性，共包含4326個(gè)精心設(shè)計(jì)的問題。然而，它僅限于評(píng)估有確切答案的短查詢。
OpenAI強(qiáng)調(diào)，雖然SimpleQA能有效衡量模型在短回答中的事實(shí)準(zhǔn)確性，但其在處理長(zhǎng)篇或多事實(shí)內(nèi)容方面的表現(xiàn)仍需進(jìn)一步探究。通過開源SimpleQA，OpenAI希望能推動(dòng)AI研究的進(jìn)步，提升語言模型的可靠性和信任度。
該基準(zhǔn)的特點(diǎn)包括確保答案的正確性，問題的答案均經(jīng)過兩名獨(dú)立AI訓(xùn)練師的嚴(yán)格驗(yàn)證；覆蓋多元主題，從科技到娛樂，體現(xiàn)其廣泛的適用性；以及對(duì)前沿模型的挑戰(zhàn)性，如GPT-4等先進(jìn)模型，在SimpleQA面前都將面臨嚴(yán)峻的考驗(yàn)。
SimpleQA還注重用戶體驗(yàn)，簡(jiǎn)潔明了的問題和答案設(shè)計(jì)使得用戶能夠輕松操作和評(píng)分。同時(shí)，借助OpenAI API等工具，用戶可以快速評(píng)估模型的性能。
