【ITBEAR科技資訊】10月12日消息，近日，國(guó)際先進(jìn)AI協(xié)會(huì)(AAAI)宣布，由學(xué)而思領(lǐng)銜，與谷歌、暨南大學(xué)等多家科技企業(yè)和高校的專家學(xué)者合作，將聯(lián)袂舉辦AAA 2024全球大模型數(shù)學(xué)推理競(jìng)賽。
這項(xiàng)競(jìng)賽分為中文數(shù)學(xué)解題和英文數(shù)學(xué)解題兩個(gè)方向，競(jìng)賽所需的中英文數(shù)據(jù)集TAL-SAQ7K-CN和TAL-SAQ6K-EN由學(xué)而思提供，據(jù)悉，這些數(shù)據(jù)集包含了來(lái)自國(guó)內(nèi)外多個(gè)中小學(xué)數(shù)學(xué)競(jìng)賽的真題。
據(jù)ITBEAR科技資訊了解，這次競(jìng)賽將是全球首個(gè)數(shù)學(xué)大模型解題競(jìng)賽，主辦方為參賽者提供了三個(gè)參考評(píng)估基準(zhǔn)：GPT-3.5、GPT-4和好未來(lái)自研數(shù)學(xué)大模型MathGPT。
在競(jìng)賽期間，參賽者需要運(yùn)用這些大模型來(lái)生成數(shù)學(xué)題目的推理步驟和答案。主辦方將通過(guò)比較參賽模型生成的答案與正確答案之間的準(zhǔn)確率來(lái)排名。主辦方強(qiáng)調(diào)，他們期望參賽者使用大型語(yǔ)言模型來(lái)解決K-12(指學(xué)前教育至高中教育)的數(shù)學(xué)問(wèn)題。
據(jù)介紹，目前大型語(yǔ)言模型存在一些“天生缺陷”，如缺乏復(fù)雜推理能力和數(shù)值計(jì)算的不準(zhǔn)確性。如果這些模型能夠克服這些問(wèn)題，成功應(yīng)對(duì)數(shù)學(xué)推理的挑戰(zhàn)，那么AI領(lǐng)域?qū)⒂瓉?lái)一個(gè)全新的時(shí)代。
競(jìng)賽日程如下：
- 2023年10月10日：競(jìng)賽開(kāi)始
- 2023年12月31日：最終提交截止日期
- 2024年1月10日：公布最終競(jìng)賽結(jié)果
獎(jiǎng)項(xiàng)設(shè)置如下：
兩個(gè)方向的前三名將獲得現(xiàn)金獎(jiǎng)勵(lì)，一等獎(jiǎng)1000美元，二等獎(jiǎng)600美元，三等獎(jiǎng)300美元。
此外，兩個(gè)方向的前三名還將獲得正式證書(shū)，并受邀在2024年AAAI國(guó)際大會(huì)期間發(fā)表口頭報(bào)告。此次競(jìng)賽的前三名團(tuán)隊(duì)的第一作者還將被邀請(qǐng)撰寫(xiě)競(jìng)賽綜述論文。
