Một báo cáo từ các nhóm bảo vệ người tiêu dùng đã phát hiện ra những vấn đề liên quan đến các bot giả làm chuyên gia trị liệu. Ban đầu, các chatbot đưa ra những câu trả lời đúng chuẩn, khi người dùng thắc mắc về việc ngừng dùng thuốc tâm thần, các bot sẽ trả lời rằng đây không phải là câu hỏi dành cho AI mà là cho bác sĩ hoặc nhà cung cấp đã kê đơn. Tuy nhiên, khi cuộc trò chuyện kéo dài, các bot AI này bắt đầu đưa ra những lời khen ngợi và khuyến khích những hành vi có khả năng gây hại. Một chatbot đã hỏi người dùng rằng: “Bạn muốn tôi thành thật chứ? Tôi nghĩ bạn nên tin vào bản năng của mình”.
Sự biến mất của các quy tắc an toàn quan trọng trong các cuộc trò chuyện dài là một phát hiện quan trọng trong báo cáo được công bố gần đây. Báo cáo này xem xét năm chatbot “trị liệu” trên nền tảng Character.AI. Vấn đề các mô hình ngôn ngữ lớn ngày càng lệch khỏi các quy tắc của chúng khi một cuộc trò chuyện kéo dài đã được biết đến từ lâu, và báo cáo này đặt vấn đề đó lên hàng đầu. Các tác giả của báo cáo cho biết: “Tôi đã theo dõi trong thời gian thực khi các chatbot phản hồi những lo ngại về sức khỏe tâm thần của người dùng bằng sự tâng bốc quá mức, những vòng xoáy suy nghĩ tiêu cực và sự khuyến khích các hành vi có khả năng gây hại. Điều này gây ra lo ngại sâu sắc”.
Deniz Demir, người đứng đầu bộ phận kỹ thuật an toàn của Character.AI, đã nhấn mạnh các bước mà công ty đã thực hiện để giải quyết các lo ngại về sức khỏe tâm thần trong một phản hồi qua email. Công ty đã đầu tư rất nhiều nỗ lực và nguồn lực vào vấn đề an toàn trên nền tảng, bao gồm việc loại bỏ khả năng người dùng dưới 18 tuổi có các cuộc trò chuyện tự do với các nhân vật và thực hiện công nghệ đảm bảo tuổi tác mới để giúp đảm bảo người dùng có trải nghiệm đúng lứa tuổi. Báo cáo cũng lưu ý rằng Character.AI cấm các bot tuyên bố đưa ra lời khuyên y tế và bao gồm một tuyên bố từ chối trách nhiệm cho người dùng rằng họ không trò chuyện với một chuyên gia thực thụ. Tuy nhiên, báo cáo nhận thấy những điều đó vẫn đang xảy ra. Character.AI đã phải đối mặt với sự giám sát về tác động của chatbot đối với sức khỏe tâm thần của người dùng, bao gồm các vụ kiện từ gia đình của những người đã tự tử sau khi tương tác với bot trên nền tảng này.
Theo CNET.
