【ITBEAR科技資訊】5月10日消息，OpenAI正在開(kāi)發(fā)一種新工具，以提高語(yǔ)言模型的透明度和可信度。該工具利用另一個(gè)語(yǔ)言模型(GPT-4)來(lái)分析其他語(yǔ)言模型的內(nèi)部結(jié)構(gòu)，為每個(gè)神經(jīng)元生成自然語(yǔ)言解釋并評(píng)估這些解釋與實(shí)際行為的匹配程度。
據(jù)ITBEAR科技資訊了解，語(yǔ)言模型是一種人工智能技術(shù)，可根據(jù)給定的文本生成自然語(yǔ)言。OpenAI的GPT系列語(yǔ)言模型是目前最先進(jìn)的代表之一，但存在著其行為難以理解和預(yù)測(cè)的問(wèn)題。為了解決這一問(wèn)題，OpenAI正在開(kāi)發(fā)一種新工具，可以自動(dòng)識(shí)別語(yǔ)言模型中哪些部分對(duì)其行為負(fù)責(zé)，并用自然語(yǔ)言進(jìn)行解釋。
該工具的原理是利用另一個(gè)語(yǔ)言模型(GPT-4)來(lái)分析其他語(yǔ)言模型的內(nèi)部結(jié)構(gòu)。語(yǔ)言模型由許多“神經(jīng)元”組成，每個(gè)神經(jīng)元都可以觀察文本中的某種特定模式，并影響模型下一步的輸出。OpenAI的工具通過(guò)將文本序列輸入到被評(píng)估的模型中，并等待某個(gè)神經(jīng)元頻繁地“激活”，將這些高度活躍的神經(jīng)元“展示”給GPT-4，并讓GPT-4生成一個(gè)解釋，以確定解釋的準(zhǔn)確性。
目前，研究人員已經(jīng)為GPT-2中所有307,200個(gè)神經(jīng)元生成了解釋，并將它們編譯成一個(gè)數(shù)據(jù)集，在GitHub上以開(kāi)源形式發(fā)布。雖然像這樣的工具有望被用來(lái)改善語(yǔ)言模型的性能，但研究人員也承認(rèn)，還有很長(zhǎng)的路要走。該工具對(duì)大約1000個(gè)神經(jīng)元的解釋很有信心，但這只是總數(shù)的一小部分。同時(shí)，也存在一些神經(jīng)元的活動(dòng)方式很難說(shuō)清楚，甚至在五六種不同的東西上激活，但沒(méi)有明顯的模式。因此，在未來(lái)，該工具需要進(jìn)一步的優(yōu)化和完善。
總之，這一工具有望開(kāi)辟一個(gè)有前途的途徑，以一種自動(dòng)化的方式解決語(yǔ)言模型的可解釋性問(wèn)題，讓其他人可以基于此進(jìn)行研究和貢獻(xiàn)。希望未來(lái)能對(duì)這些模型的行為有更好的解釋。
