ITBear旗下自媒體矩陣:

科大訊飛機器智能閱卷技術(shù)實現(xiàn)機器批改作文

   時間:2015-11-06 13:31:09 來源:互聯(lián)網(wǎng)編輯:星輝 發(fā)表評論無障礙通道

閱卷是老師教學(xué)工作中,非常重要的一環(huán),同時也十分耗時耗力。隨著科技的發(fā)展,機器可以協(xié)助我們進行數(shù)據(jù)計算、體力勞動等工作。

那么,“閱卷”是不是也可以由機器代勞呢?

答案是肯定的。

目前,科大訊飛機器智能閱卷技術(shù)已經(jīng)在安慶、合肥等地成功試點應(yīng)用。經(jīng)過對人機評分結(jié)果的分析,計算機在評分一致率、平均分差、相關(guān)度以及與仲裁分更接近的比例等指標方面都已達到或超過人工評分水平。這意味著,讓機器評閱主觀題已不再是空想。其中最讓人眼前一亮的,是哈工大訊飛聯(lián)合實驗室研發(fā)的語文作文評分技術(shù)。

批閱主觀題的可能性

我們知道,幾乎所有的考卷都包含兩個部分,客觀題、主觀題。在有了答題卡,掃描儀后,客觀題可以全部由機器批閱,閱卷速度大大提升,且更加準確。

可是面對主觀題,機器也能替代人腦來思考嗎?

答案是肯定的。自20世紀60年代以來,國外許多專家和學(xué)者就致力于主觀題的機器閱卷技術(shù)研究,也出現(xiàn)了各種不同的自動批改系統(tǒng)。比如美國的MBA、托??荚囍芯蛻?yīng)用了E-rater系統(tǒng)等。

但是,不管是E-rater還是國內(nèi)的一些研究,大部分針對的都是第二語言作文,即非母語作文。非母語作文的特點是,學(xué)生的錯誤大多是一些基礎(chǔ)性的拼寫、語法方面的初級錯誤,這些錯誤是比較容易確立一個規(guī)則并讓機器執(zhí)行和批閱。

要想機器閱卷技術(shù)真正普及并為閱卷工作帶來便利,無法回避的一個難關(guān)就是:批閱學(xué)生用母語寫的作文。

與第二語言作文不同,中學(xué)生母語作文中基本很少犯語言基礎(chǔ)性錯誤,需要在更高層次,比如作文的文采、篇章的銜接、作文立意等方面做出評判。

那么面對這些主觀性很強的文本,我們應(yīng)該從哪些維度去評判,又如何去量化這些維度呢?

機器憑什么給我們打分?

\

要回答這個問題其實也不難,我們可以先想想:老師是怎么為我們的中高考作文進行評分的呢?

首先,他們有一套嚴格的標準。

中高考閱卷中,全國的老師都是以一套統(tǒng)一的、嚴格的標準為基準來進行評分的。同理,想讓機器批閱作文,最重要的也是讓機器學(xué)到這套標準,然后按標準批閱。

以本次應(yīng)用在語文試卷批閱中的訊飛作文評分系統(tǒng)為例。教師們設(shè)置了一套通用的從字跡工整度、詞匯豐富性、句子通順度、文采、篇章結(jié)構(gòu)、立意等多個層次綜合評估一篇作文質(zhì)量的解決方案。哈工大訊飛聯(lián)合實驗室的研究人員則讓機器來學(xué)習(xí)這套方案,利用機器學(xué)習(xí)算法從少量人工評分的樣本中學(xué)習(xí)獲得作文評分標準。

這每一項標準背后都需要復(fù)雜、精密的技術(shù)來支持。比如要判斷字跡工整度,則需要用到手寫識別技術(shù),我們可以在自動將圖片中手寫體字轉(zhuǎn)寫為文本的同時,給出識別概率,來表示工整度。

\

再比如,判斷一篇作文是否離題,首先需要根據(jù)題目內(nèi)容提取關(guān)鍵詞,并根據(jù)主題進行擴展,同時提取作文的關(guān)鍵詞,計算作文的關(guān)鍵詞和題目的關(guān)鍵詞的相似度。

另外,也可以在本次考試的大規(guī)模數(shù)據(jù)上訓(xùn)練主題模型,得到全局的主題分布,然后和待考察作文的主題分布對比。詞匯豐富性和立意屬于內(nèi)容相關(guān)的特征;字跡工整度、局部連貫性、句法正確性和篇章結(jié)構(gòu)屬于表達相關(guān)的特征;文采屬于發(fā)展等級特征。

除了上述特征外,我們還利用人工神經(jīng)網(wǎng)絡(luò)對作文的語義進行深度表示,從而得以從宏觀上把握文章的立意。

通過從這一系列復(fù)雜、精密的技術(shù)支持,“機器老師”便能夠為學(xué)生評分了。

機器閱卷技術(shù)的未來

未來,隨著人工智能技術(shù)的發(fā)展,除了開放式作文、甚至政史地問答題等試題的批閱中,機器都可以自動閱卷。機器可以自動學(xué)習(xí)教師的閱卷方法。比如一次考試有2000份卷子,從第一份卷子開始,機器就可以學(xué)習(xí)教師的閱卷方法,學(xué)到200份的時候機器就可以代替人工,自動對剩下的試卷進行智能化打分。

如果全自動機器閱卷變成現(xiàn)實,“閱卷”這件需要教師們投入大量人力物力才能完成的事將變得輕松,教師們將會有更多的時間和精力被解放出來,投入到對教學(xué)方法、教學(xué)手段等創(chuàng)造性工作的研究中,相信學(xué)生們也會因此獲得更好、更全面的教育。

這樣的未來,你期待嗎?

【哈工大訊飛聯(lián)合實驗室背景介紹】

哈工大訊飛聯(lián)合實驗室成立于2014年9月,實驗室主任由哈工大劉挺教授擔(dān)任,副主任由科大訊飛胡國平博士擔(dān)任。

哈工大訊飛聯(lián)合實驗室是“訊飛超腦”計劃中的核心研發(fā)團隊之一,致力于在語言認知計算領(lǐng)域長期、深入的技術(shù)創(chuàng)新,目前重點研究的前瞻課題包括類人答題、作文評閱、語音轉(zhuǎn)寫等,作文自動評分是聯(lián)合實驗室在過去一年中最重要的研發(fā)成果。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報  |  開放轉(zhuǎn)載  |  滾動資訊  |  English Version