近期，美國(guó)哥倫比亞大學(xué)Tow數(shù)字新聞研究中心公布了一項(xiàng)引人關(guān)注的研究報(bào)告，指出OpenAI的ChatGPT搜索工具在新聞搜索領(lǐng)域的準(zhǔn)確性上存在顯著不足。報(bào)告詳細(xì)記錄了ChatGPT在153次回答中的表現(xiàn)，結(jié)果顯示，其回答錯(cuò)誤的次數(shù)高達(dá)89次，部分正確的有57次，而完全正確的回答僅有47次，另有7次明確表示無法給出準(zhǔn)確答案。
為了全面評(píng)估ChatGPT的搜索準(zhǔn)確性，哥倫比亞大學(xué)的研究團(tuán)隊(duì)精心挑選了來自20家不同出版商的200條引文作為測(cè)試樣本，其中特別包含了40條來自被OpenAI爬蟲禁止訪問的網(wǎng)站的引文。這一設(shè)計(jì)旨在全面且客觀地檢驗(yàn)ChatGPT的搜索能力。
研究報(bào)告中還列舉了多個(gè)具體的錯(cuò)誤案例，比如ChatGPT錯(cuò)誤地將《奧蘭多哨兵報(bào)》的讀者來信歸為了《時(shí)代周刊》的文章；在另一個(gè)案例中，當(dāng)ChatGPT試圖確認(rèn)一篇關(guān)于瀕危鯨魚的海外媒體報(bào)道時(shí)，卻錯(cuò)誤地鏈接到了一個(gè)剽竊該文章的網(wǎng)站。這些錯(cuò)誤不僅令人驚訝，也引發(fā)了對(duì)于ChatGPT搜索工具準(zhǔn)確性的廣泛質(zhì)疑。
面對(duì)這一研究結(jié)果，OpenAI方面表示，由于哥倫比亞大學(xué)Tow數(shù)字新聞研究中心并未提供完整的測(cè)試數(shù)據(jù)和測(cè)試方法，因此解決這些錯(cuò)誤歸因問題具有一定的挑戰(zhàn)性。OpenAI認(rèn)為，這次研究可能并不具有普遍性，是一次非典型的測(cè)試。不過，OpenAI也承諾將繼續(xù)努力優(yōu)化其搜索結(jié)果，以提高準(zhǔn)確性和可靠性。
值得注意的是，今年早些時(shí)候，OpenAI已經(jīng)與包括美聯(lián)社、阿克塞爾·斯普林格、康泰納仕等多家知名媒體和出版商建立了廣泛的合作關(guān)系。然而，此次研究結(jié)果的公布，無疑對(duì)這些合作伙伴對(duì)ChatGPT搜索工具的信任度產(chǎn)生了一定的沖擊。未來，OpenAI如何在提高搜索準(zhǔn)確性的同時(shí)，重建和鞏固與新聞行業(yè)的合作關(guān)系，將是一個(gè)值得關(guān)注的問題。
