【ITBEAR科技資訊】5月11日消息,由于人們對于AI算法的可解釋性越來越關(guān)注,OpenAI最近公布了其最新研究成果,通過讓GPT-4去試著解釋GPT-2的行為,從而一定程度上解決了AI模型的“黑盒”問題。
AI模型一直被視為“黑盒”,其內(nèi)部工作方式難以被理解,這也讓許多人對于其正確性和偏見性產(chǎn)生了質(zhì)疑。為了解決這個問題,OpenAI決定通過讓一個AI“黑盒”去解釋另一個AI“黑盒”的方式,來了解大型語言模型中神經(jīng)元的行為特征,為AI算法的可解釋性提供一種新的思路。
具體來說,OpenAI讓GPT-4去解釋GPT-2的行為,首先通過給出一個GPT-2神經(jīng)元的激活情況和相關(guān)文本序列,讓GPT-4生成相應(yīng)的解釋;然后,再用GPT-4模擬被解釋的神經(jīng)元行為,最后通過比較GPT-4模擬神經(jīng)元的結(jié)果與GPT-2真實神經(jīng)元的結(jié)果,評分GPT-4的解釋質(zhì)量。據(jù)ITBEAR科技資訊了解,OpenAI共讓GPT-4解釋了GPT-2中的307200個神經(jīng)元,其中大多數(shù)解釋的得分很低,但超過1000個神經(jīng)元的解釋得分高于0.8。
OpenAI承認(rèn)目前GPT-4生成的解釋仍不完美,尤其在解釋比GPT-2規(guī)模更大的模型時,效果更是不佳。但是,OpenAI認(rèn)為這個研究成果意義重大,因為它為AI算法的可解釋性提供了一種新的思路,也為相關(guān)領(lǐng)域的研究提供了新的工具和數(shù)據(jù)集。未來,隨著ML技術(shù)的不斷發(fā)展,GPT-4的解釋能力也將不斷提高。
不過,OpenAI也指出,這個研究仍然存在許多局限性和挑戰(zhàn),例如GPT-4生成的解釋總是很簡短,但神經(jīng)元可能有著非常復(fù)雜的行為;當(dāng)前的方法只解釋了神經(jīng)元的行為,并沒有涉及下游影響;整個過程計算密集,算力消耗較大等問題。因此,在AI算法可解釋性的研究領(lǐng)域還需要更多的努力和探索。