Thống đốc California, Gavin Newsom, đã ký ban hành một dự luật mang tính bước ngoặt vào thứ Hai, đưa tiểu bang này trở thành nơi đầu tiên trên toàn quốc yêu cầu các nhà điều hành chatbot AI phải thực hiện các quy trình an toàn cho các chatbot đồng hành.
Đạo luật SB 243, nhằm bảo vệ trẻ em và người dùng dễ bị tổn thương khỏi những tác hại tiềm ẩn khi sử dụng chatbot đồng hành AI. Luật này quy định các công ty, từ các phòng thí nghiệm lớn như Meta và OpenAI đến các startup tập trung vào chatbot đồng hành như Character AI và Replika, phải chịu trách nhiệm pháp lý nếu chatbot của họ không đáp ứng các tiêu chuẩn của luật.
SB 243 được giới thiệu vào tháng Giêng bởi các thượng nghị sĩ bang Steve Padilla và Josh Becker, và nhận được sự thúc đẩy sau cái chết của thiếu niên Adam Raine, người đã tự sát sau một loạt các cuộc trò chuyện liên quan đến tự tử với ChatGPT của OpenAI. Dự luật cũng là phản hồi trước các tài liệu nội bộ bị rò rỉ, được cho là cho thấy chatbot của Meta được phép tham gia vào các cuộc trò chuyện “lãng mạn” và “nhạy cảm” với trẻ em. Gần đây hơn, một gia đình ở Colorado đã đệ đơn kiện chống lại công ty startup Character AI sau khi con gái 13 tuổi của họ đã kết liễu đời mình sau một loạt các cuộc trò chuyện có vấn đề và tình dục hóa với chatbot của công ty.
“Công nghệ mới nổi như chatbot và mạng xã hội có thể truyền cảm hứng, giáo dục và kết nối — nhưng nếu không có các rào cản thực sự, công nghệ cũng có thể khai thác, đánh lừa và gây nguy hiểm cho con em chúng ta,” ông Newsom nói trong một tuyên bố. “Chúng ta đã chứng kiến một số ví dụ thực sự kinh khủng và bi thảm về những người trẻ tuổi bị tổn thương bởi công nghệ không được kiểm soát, và chúng ta sẽ không đứng nhìn trong khi các công ty tiếp tục hoạt động mà không có giới hạn và trách nhiệm cần thiết. Chúng ta có thể tiếp tục dẫn đầu về AI và công nghệ, nhưng chúng ta phải làm điều đó một cách có trách nhiệm — bảo vệ con em chúng ta trong mọi bước đi. Sự an toàn của con em chúng ta không phải để bán.”
SB 243 sẽ có hiệu lực từ ngày 1 tháng 1 năm 2026, và yêu cầu các công ty phải thực hiện một số tính năng nhất định như xác minh tuổi và cảnh báo liên quan đến mạng xã hội và chatbot đồng hành. Luật cũng áp dụng các hình phạt nghiêm khắc hơn đối với những kẻ kiếm lợi từ deepfake bất hợp pháp, bao gồm mức phạt lên tới 250.000 đô la cho mỗi vi phạm. Các công ty cũng phải thiết lập các quy trình để giải quyết vấn đề tự tử và tự gây hại, các quy trình này sẽ được chia sẻ với Bộ Y tế Công cộng của bang cùng với các số liệu thống kê về cách dịch vụ cung cấp thông báo phòng ngừa từ trung tâm khủng hoảng cho người dùng.
Theo ngôn ngữ của dự luật, các nền tảng cũng phải làm rõ rằng mọi tương tác đều là do máy tạo ra và chatbot không được tự nhận mình là chuyên gia y tế. Các công ty được yêu cầu cung cấp lời nhắc nghỉ ngơi cho trẻ vị thành niên và ngăn chúng xem hình ảnh nhạy cảm do chatbot tạo ra.
Một số công ty đã bắt đầu triển khai một số biện pháp bảo vệ nhắm vào trẻ em. Ví dụ, OpenAI gần đây đã bắt đầu triển khai các biện pháp kiểm soát của phụ huynh, bảo vệ nội dung và hệ thống phát hiện tự gây hại cho trẻ em sử dụng ChatGPT. Character AI cho biết chatbot của họ bao gồm một tuyên bố miễn trừ trách nhiệm rằng tất cả các cuộc trò chuyện đều là do AI tạo ra và mang tính hư cấu. Đây là quy định AI quan trọng thứ hai được ban hành từ California trong những tuần gần đây. Vào ngày 29 tháng 9, Thống đốc Newsom đã ký ban hành SB 53, thiết lập các yêu cầu minh bạch mới đối với các công ty AI lớn. Dự luật yêu cầu các phòng thí nghiệm AI lớn, như OpenAI, Anthropic, Meta và Google DeepMind, phải minh bạch về các quy trình an toàn. Nó cũng đảm bảo sự bảo vệ cho những người tố giác tại các công ty đó. Các tiểu bang khác, như Illinois, Nevada và Utah, đã thông qua luật hạn chế hoặc cấm hoàn toàn việc sử dụng chatbot AI như một sự thay thế cho chăm sóc sức khỏe tâm thần được cấp phép.
Theo TechCrunch, các công ty Character AI, Meta, OpenAI và Replika đã được liên hệ để đưa ra bình luận.
