【ITBEAR科技資訊】5月11日消息，由于人們對(duì)于AI算法的可解釋性越來(lái)越關(guān)注，OpenAI最近公布了其最新研究成果，通過(guò)讓GPT-4去試著解釋GPT-2的行為，從而一定程度上解決了AI模型的“黑盒”問(wèn)題。
AI模型一直被視為“黑盒”，其內(nèi)部工作方式難以被理解，這也讓許多人對(duì)于其正確性和偏見(jiàn)性產(chǎn)生了質(zhì)疑。為了解決這個(gè)問(wèn)題，OpenAI決定通過(guò)讓一個(gè)AI“黑盒”去解釋另一個(gè)AI“黑盒”的方式，來(lái)了解大型語(yǔ)言模型中神經(jīng)元的行為特征，為AI算法的可解釋性提供一種新的思路。
具體來(lái)說(shuō)，OpenAI讓GPT-4去解釋GPT-2的行為，首先通過(guò)給出一個(gè)GPT-2神經(jīng)元的激活情況和相關(guān)文本序列，讓GPT-4生成相應(yīng)的解釋;然后，再用GPT-4模擬被解釋的神經(jīng)元行為，最后通過(guò)比較GPT-4模擬神經(jīng)元的結(jié)果與GPT-2真實(shí)神經(jīng)元的結(jié)果，評(píng)分GPT-4的解釋質(zhì)量。據(jù)ITBEAR科技資訊了解，OpenAI共讓GPT-4解釋了GPT-2中的307200個(gè)神經(jīng)元，其中大多數(shù)解釋的得分很低，但超過(guò)1000個(gè)神經(jīng)元的解釋得分高于0.8。
OpenAI承認(rèn)目前GPT-4生成的解釋仍不完美，尤其在解釋比GPT-2規(guī)模更大的模型時(shí)，效果更是不佳。但是，OpenAI認(rèn)為這個(gè)研究成果意義重大，因?yàn)樗鼮锳I算法的可解釋性提供了一種新的思路，也為相關(guān)領(lǐng)域的研究提供了新的工具和數(shù)據(jù)集。未來(lái)，隨著ML技術(shù)的不斷發(fā)展，GPT-4的解釋能力也將不斷提高。
不過(guò)，OpenAI也指出，這個(gè)研究仍然存在許多局限性和挑戰(zhàn)，例如GPT-4生成的解釋總是很簡(jiǎn)短，但神經(jīng)元可能有著非常復(fù)雜的行為;當(dāng)前的方法只解釋了神經(jīng)元的行為，并沒(méi)有涉及下游影響;整個(gè)過(guò)程計(jì)算密集，算力消耗較大等問(wèn)題。因此，在AI算法可解釋性的研究領(lǐng)域還需要更多的努力和探索。
