隨著大型語言模型（LLM）能力的不斷增強，一項新研究卻發(fā)現(xiàn)了令人擔憂的趨勢：這些智能聊天機器人在回答問題時，似乎越來越傾向于編造答案，而非謹慎地避免或拒絕回答它們不確定的問題。這種行為模式表明，盡管AI變得更加“聰明”，但其可靠性卻在實際應用中受到了質疑。
該研究由多個知名研究機構聯(lián)合進行，成果已發(fā)表在《自然》雜志上。研究團隊對市面上領先的商業(yè)LLM進行了深入分析，包括OpenAI的GPT系列、meta的LLaMA，以及開源模型BLOOM。在對比了這些模型在不同主題和問題類型上的表現(xiàn)后，研究人員發(fā)現(xiàn)，盡管新一代LLM在某些情況下的確給出了更準確的回答，但從整體來看，它們提供錯誤答案的頻率卻比舊模型更高。
瓦倫西亞人工智能研究所的研究員José Hernández-Orallo指出：“現(xiàn)在的LLM幾乎能回答任何問題，這既是進步也是隱患。雖然正確回答的數(shù)量增加了，但錯誤回答的數(shù)量也同樣在上升?！?/p>
在測試中，這些LLM被要求處理從數(shù)學到地理等多個領域的問題，并執(zhí)行一些特定的信息排序任務。結果顯示，規(guī)模更大、能力更強的模型在簡單問題上表現(xiàn)最佳，但在面對更復雜的問題時，其準確率卻顯著下降。
值得注意的是，OpenAI的GPT-4和o1模型在測試中成為了最大的“撒謊者”，但這一趨勢并非孤例，其他被研究的LLM也呈現(xiàn)出了類似的傾向。特別是在LLaMA系列模型中，即便是最簡單的問題，也沒有任何一個模型能夠達到60%的準確率。
當被要求評估聊天機器人答案的準確性時，參與測試的人類受試者也表現(xiàn)出了相當程度的不確定性，他們在10%到40%的情況下做出了錯誤的判斷。
這項研究揭示了一個重要的問題：隨著AI模型的規(guī)模和能力的不斷提升，如何確保它們提供的答案是準確且可靠的？研究人員建議，一個可能的解決方案是讓LLM在面對不確定的問題時學會保持沉默，而不是盲目地給出答案。Hernández-Orallo表示：“我們可以設定一個閾值，讓聊天機器人在遇到具有挑戰(zhàn)性的問題時能夠說‘不，我不知道’。”然而，這種做法也可能會暴露當前技術的局限性，從而影響用戶對AI的信任和接受度。
