閱卷是老師教學(xué)工作中，非常重要的一環(huán)，同時(shí)也十分耗時(shí)耗力。隨著科技的發(fā)展，機(jī)器可以協(xié)助我們進(jìn)行數(shù)據(jù)計(jì)算、體力勞動(dòng)等工作。
那么，“閱卷”是不是也可以由機(jī)器代勞呢?
答案是肯定的。
目前，科大訊飛機(jī)器智能閱卷技術(shù)已經(jīng)在安慶、合肥等地成功試點(diǎn)應(yīng)用。經(jīng)過(guò)對(duì)人機(jī)評(píng)分結(jié)果的分析，計(jì)算機(jī)在評(píng)分一致率、平均分差、相關(guān)度以及與仲裁分更接近的比例等指標(biāo)方面都已達(dá)到或超過(guò)人工評(píng)分水平。這意味著，讓機(jī)器評(píng)閱主觀題已不再是空想。其中最讓人眼前一亮的，是哈工大訊飛聯(lián)合實(shí)驗(yàn)室研發(fā)的語(yǔ)文作文評(píng)分技術(shù)。
批閱主觀題的可能性
我們知道，幾乎所有的考卷都包含兩個(gè)部分，客觀題、主觀題。在有了答題卡，掃描儀后，客觀題可以全部由機(jī)器批閱，閱卷速度大大提升，且更加準(zhǔn)確。
可是面對(duì)主觀題，機(jī)器也能替代人腦來(lái)思考嗎?
答案是肯定的。自20世紀(jì)60年代以來(lái)，國(guó)外許多專(zhuān)家和學(xué)者就致力于主觀題的機(jī)器閱卷技術(shù)研究，也出現(xiàn)了各種不同的自動(dòng)批改系統(tǒng)。比如美國(guó)的MBA、托福考試中就應(yīng)用了E-rater系統(tǒng)等。
但是，不管是E-rater還是國(guó)內(nèi)的一些研究，大部分針對(duì)的都是第二語(yǔ)言作文，即非母語(yǔ)作文。非母語(yǔ)作文的特點(diǎn)是，學(xué)生的錯(cuò)誤大多是一些基礎(chǔ)性的拼寫(xiě)、語(yǔ)法方面的初級(jí)錯(cuò)誤，這些錯(cuò)誤是比較容易確立一個(gè)規(guī)則并讓機(jī)器執(zhí)行和批閱。
要想機(jī)器閱卷技術(shù)真正普及并為閱卷工作帶來(lái)便利，無(wú)法回避的一個(gè)難關(guān)就是：批閱學(xué)生用母語(yǔ)寫(xiě)的作文。
與第二語(yǔ)言作文不同，中學(xué)生母語(yǔ)作文中基本很少犯語(yǔ)言基礎(chǔ)性錯(cuò)誤，需要在更高層次，比如作文的文采、篇章的銜接、作文立意等方面做出評(píng)判。
那么面對(duì)這些主觀性很強(qiáng)的文本，我們應(yīng)該從哪些維度去評(píng)判，又如何去量化這些維度呢?
機(jī)器憑什么給我們打分?
要回答這個(gè)問(wèn)題其實(shí)也不難，我們可以先想想：老師是怎么為我們的中高考作文進(jìn)行評(píng)分的呢?
首先，他們有一套嚴(yán)格的標(biāo)準(zhǔn)。
中高考閱卷中，全國(guó)的老師都是以一套統(tǒng)一的、嚴(yán)格的標(biāo)準(zhǔn)為基準(zhǔn)來(lái)進(jìn)行評(píng)分的。同理，想讓機(jī)器批閱作文，最重要的也是讓機(jī)器學(xué)到這套標(biāo)準(zhǔn)，然后按標(biāo)準(zhǔn)批閱。
以本次應(yīng)用在語(yǔ)文試卷批閱中的訊飛作文評(píng)分系統(tǒng)為例。教師們?cè)O(shè)置了一套通用的從字跡工整度、詞匯豐富性、句子通順度、文采、篇章結(jié)構(gòu)、立意等多個(gè)層次綜合評(píng)估一篇作文質(zhì)量的解決方案。哈工大訊飛聯(lián)合實(shí)驗(yàn)室的研究人員則讓機(jī)器來(lái)學(xué)習(xí)這套方案，利用機(jī)器學(xué)習(xí)算法從少量人工評(píng)分的樣本中學(xué)習(xí)獲得作文評(píng)分標(biāo)準(zhǔn)。
這每一項(xiàng)標(biāo)準(zhǔn)背后都需要復(fù)雜、精密的技術(shù)來(lái)支持。比如要判斷字跡工整度，則需要用到手寫(xiě)識(shí)別技術(shù)，我們可以在自動(dòng)將圖片中手寫(xiě)體字轉(zhuǎn)寫(xiě)為文本的同時(shí)，給出識(shí)別概率，來(lái)表示工整度。
再比如，判斷一篇作文是否離題，首先需要根據(jù)題目?jī)?nèi)容提取關(guān)鍵詞，并根據(jù)主題進(jìn)行擴(kuò)展，同時(shí)提取作文的關(guān)鍵詞，計(jì)算作文的關(guān)鍵詞和題目的關(guān)鍵詞的相似度。
另外，也可以在本次考試的大規(guī)模數(shù)據(jù)上訓(xùn)練主題模型，得到全局的主題分布，然后和待考察作文的主題分布對(duì)比。詞匯豐富性和立意屬于內(nèi)容相關(guān)的特征;字跡工整度、局部連貫性、句法正確性和篇章結(jié)構(gòu)屬于表達(dá)相關(guān)的特征;文采屬于發(fā)展等級(jí)特征。
除了上述特征外，我們還利用人工神經(jīng)網(wǎng)絡(luò)對(duì)作文的語(yǔ)義進(jìn)行深度表示，從而得以從宏觀上把握文章的立意。
通過(guò)從這一系列復(fù)雜、精密的技術(shù)支持，“機(jī)器老師”便能夠?yàn)閷W(xué)生評(píng)分了。
機(jī)器閱卷技術(shù)的未來(lái)
未來(lái)，隨著人工智能技術(shù)的發(fā)展，除了開(kāi)放式作文、甚至政史地問(wèn)答題等試題的批閱中，機(jī)器都可以自動(dòng)閱卷。機(jī)器可以自動(dòng)學(xué)習(xí)教師的閱卷方法。比如一次考試有2000份卷子，從第一份卷子開(kāi)始，機(jī)器就可以學(xué)習(xí)教師的閱卷方法，學(xué)到200份的時(shí)候機(jī)器就可以代替人工，自動(dòng)對(duì)剩下的試卷進(jìn)行智能化打分。
如果全自動(dòng)機(jī)器閱卷變成現(xiàn)實(shí)，“閱卷”這件需要教師們投入大量人力物力才能完成的事將變得輕松，教師們將會(huì)有更多的時(shí)間和精力被解放出來(lái)，投入到對(duì)教學(xué)方法、教學(xué)手段等創(chuàng)造性工作的研究中，相信學(xué)生們也會(huì)因此獲得更好、更全面的教育。
這樣的未來(lái)，你期待嗎?
【哈工大訊飛聯(lián)合實(shí)驗(yàn)室背景介紹】
哈工大訊飛聯(lián)合實(shí)驗(yàn)室成立于2014年9月，實(shí)驗(yàn)室主任由哈工大劉挺教授擔(dān)任，副主任由科大訊飛胡國(guó)平博士擔(dān)任。
哈工大訊飛聯(lián)合實(shí)驗(yàn)室是“訊飛超腦”計(jì)劃中的核心研發(fā)團(tuán)隊(duì)之一，致力于在語(yǔ)言認(rèn)知計(jì)算領(lǐng)域長(zhǎng)期、深入的技術(shù)創(chuàng)新，目前重點(diǎn)研究的前瞻課題包括類(lèi)人答題、作文評(píng)閱、語(yǔ)音轉(zhuǎn)寫(xiě)等，作文自動(dòng)評(píng)分是聯(lián)合實(shí)驗(yàn)室在過(guò)去一年中最重要的研發(fā)成果。
