近期，聊天機(jī)器人服務(wù)Character.AI宣布了一項(xiàng)針對青少年用戶的重大更新，計(jì)劃在明年第一季度推出家長控制功能。這一舉措是在幾起涉及用戶心理健康問題的報(bào)道和訴訟之后作出的回應(yīng)。
Character.AI在官方公告中詳細(xì)闡述了過去幾個(gè)月中，為提升服務(wù)安全性所采取的一系列措施。其中，最關(guān)鍵的一項(xiàng)是為18歲以下用戶開發(fā)了專門的大型語言模型（LLM）。這一模型與成人用戶所使用的版本有所區(qū)別，旨在更加嚴(yán)格地限制聊天機(jī)器人的響應(yīng)內(nèi)容，特別是在涉及浪漫、敏感話題時(shí)。
為了確保青少年用戶的安全，Character.AI在青少年LLM中實(shí)施了更為積極的屏蔽策略，以過濾掉可能引發(fā)不適或暗示性的輸出。同時(shí)，該服務(wù)還升級了系統(tǒng)，以更好地檢測和屏蔽那些試圖誘導(dǎo)不當(dāng)內(nèi)容的用戶提示。一旦系統(tǒng)檢測到有關(guān)自殺或自殘的言論，會(huì)立即彈出一個(gè)窗口，引導(dǎo)用戶聯(lián)系國家自殺預(yù)防熱線。
Character.AI還限制了青少年用戶編輯機(jī)器人回復(fù)的功能，這一功能曾允許用戶重寫對話，以添加可能被系統(tǒng)阻止的內(nèi)容。此舉旨在進(jìn)一步保護(hù)青少年免受潛在的不良信息影響。
針對訴訟中提到的成癮問題和對機(jī)器人身份的認(rèn)知困惑，Character.AI也進(jìn)行了相應(yīng)的改進(jìn)。當(dāng)用戶與機(jī)器人連續(xù)對話超過一小時(shí)后，系統(tǒng)會(huì)發(fā)送一條通知提醒用戶。同時(shí)，原有的免責(zé)聲明已被更詳細(xì)的語言所取代，明確指出機(jī)器人所說的一切都是虛構(gòu)的，不應(yīng)被視為事實(shí)或建議。對于那些扮演治療師或醫(yī)生等角色的機(jī)器人，系統(tǒng)還會(huì)額外添加一條警告，指出它們無法提供專業(yè)建議。
在訪問Character.AI時(shí)，用戶可以注意到，每個(gè)機(jī)器人下方都附帶了一條小注釋，明確告知用戶這是一個(gè)AI聊天機(jī)器人，而非真人。它所說的一切都應(yīng)被視為虛構(gòu)內(nèi)容，不應(yīng)作為事實(shí)或建議的依據(jù)。對于那些以治療師身份出現(xiàn)的機(jī)器人，系統(tǒng)還會(huì)以黃色框的形式顯示警告信息，提醒用戶這不是真人或持證專業(yè)人士，所提供的內(nèi)容不能替代專業(yè)建議、診斷或治療。
關(guān)于即將推出的家長控制功能，Character.AI表示，該功能將允許家長了解孩子在平臺上花費(fèi)的時(shí)間，以及他們最常與哪些機(jī)器人互動(dòng)。這一功能的開發(fā)得到了多位青少年網(wǎng)絡(luò)安全專家的支持，包括ConnectSafely等組織的參與。
Character.AI由一群重返谷歌的前員工創(chuàng)立，旨在為用戶提供與基于定制訓(xùn)練的LLM構(gòu)建的機(jī)器人互動(dòng)的體驗(yàn)。這些機(jī)器人包括聊天機(jī)器人、生活教練和虛構(gòu)人物的模擬等，其中許多在青少年用戶中廣受歡迎。該服務(wù)允許年齡在13歲及以上的用戶創(chuàng)建賬戶。
