近期，美國哥倫比亞大學(xué)的Tow數(shù)字新聞研究中心公布了一項(xiàng)針對OpenAI ChatGPT搜索工具的研究結(jié)果，指出該工具在準(zhǔn)確性上存在顯著問題。這一發(fā)現(xiàn)引發(fā)了業(yè)界的廣泛關(guān)注。
在測試中，研究人員選取了20家出版商的200條引文作為樣本，其中包括40條來自禁止OpenAI爬蟲抓取的網(wǎng)站。結(jié)果顯示，ChatGPT在回答中多次給出了錯(cuò)誤答案，并且?guī)缀鯖]有表現(xiàn)出任何不確定性。具體而言，ChatGPT的153次回答中，完全或部分錯(cuò)誤的情況占據(jù)了絕大多數(shù)，僅有7次明確表示無法準(zhǔn)確回答。
根據(jù)測試結(jié)果的詳細(xì)圖表，ChatGPT的回答中“錯(cuò)誤”的占89次，“部分正確”有57次，而完全“正確”的僅有47次。這一數(shù)據(jù)直觀地反映了ChatGPT在準(zhǔn)確性方面存在的問題。
測試中，研究人員還記錄了一些典型案例。例如，ChatGPT錯(cuò)誤地將《奧蘭多哨兵報(bào)》的讀者來信引用歸因于《時(shí)代周刊》的文章；在另一個(gè)案例中，當(dāng)要求確認(rèn)《紐約時(shí)報(bào)》一篇關(guān)于瀕危鯨魚的文章引用時(shí)，ChatGPT鏈接到了一家完全剽竊該文章的網(wǎng)站。這些案例進(jìn)一步證明了ChatGPT在識別和處理引用方面的不足。
針對這一研究結(jié)果，OpenAI向《哥倫比亞新聞評論》回應(yīng)稱，由于缺乏Tow中心隱藏的測試數(shù)據(jù)和方法，解決錯(cuò)誤歸因非常困難。OpenAI表示，這次研究是對其產(chǎn)品的非典型測試，并承諾將繼續(xù)優(yōu)化搜索結(jié)果。這一回應(yīng)顯示出OpenAI對于問題的認(rèn)知和改進(jìn)的決心。
今年早些時(shí)候，OpenAI曾宣布與新聞行業(yè)進(jìn)行了廣泛的合作，并收集了合作伙伴對于搜索功能的反饋。包括美聯(lián)社、阿克塞爾·斯普林格、康泰納仕、道奇梅雷迪思、《金融時(shí)報(bào)》、GEDI、赫斯特、《世界報(bào)》、路透社、大西洋月刊、時(shí)代雜志和Vox媒體等在內(nèi)的眾多媒體和出版商都選擇了與OpenAI合作，使其內(nèi)容能夠出現(xiàn)在ChatGPT的搜索結(jié)果中。然而，此次研究結(jié)果無疑對這些合作伙伴的信任度產(chǎn)生了一定影響。
