快科技8月28日消息，前不久美國夫妻馬特和瑪麗亞·雷恩起訴OpenAI，指控ChatGPT在他們的兒子自殺過程中負有責任。
他們表示，兒子數月來都在與AI探討自殺，ChatGPT有時會勸兒子撥打求助熱線或向身邊人傾訴，但在一些關鍵節點卻起了反作用。
日前OpenAI在最新博客中承認該公司在用戶心理健康危機中存在的某些失誤，並介紹了ChatGPT所採用的一系列措施。
OpenAI表示，ChatGPT的設計目標是真正幫助用戶，而不是吸引用戶的注意力，當對話顯示某人可能處於脆弱狀態並有風險時，ChatGPT已經內置了多層保護機制：
識別並以同理心回應：自2023年初以來，ChatGPT的模型已被訓練為不提供自我傷害的指導，並在對話中使用支持性和同理心的語言。如果有人表示想要傷害自己，ChatGPT會承認他們的感受，並引導他們尋求幫助。
自動阻止有害回應：違反模型安全訓練的回應將被自動阻止，特別是對於未成年人和未登錄的使用，保護措施更為嚴格，自殘的圖像輸出也被阻止，對未成年人的保護更為嚴格。
引導用戶尋求現實世界的資源：如果有人表達自殺意圖，ChatGPT會引導他們尋求專業幫助。如在美國，ChatGPT會推薦撥打988（自殺和危機熱線），在英國推薦聯繫Samaritans，其他地區則推薦findahelpline.com。
與專家合作：OpenAI正在與30多個國家的90多名醫生（包括精神科醫生、兒科醫生和全科醫生）密切合作，並召集了一個由心理健康、青少年發展和人機交互方面的專家組成的諮詢小組，以確保其方法反映最新的研究和最佳實踐。
對他人造成身體傷害的風險進行人工審查：當檢測到用戶計劃傷害他人時，OpenAI會將這些對話路由到專門的管道中，由經過培訓的小團隊進行審查。如果人工審查員確定某個案例涉及對他人的嚴重身體傷害的威脅，OpenAI可能會將其轉交給執法部門。目前，OpenAI不會將自殘案件轉交給執法部門，以尊重用戶的隱私。
