Lưu trữ — US — techcrunch
Anthropic cho biết một số mô hình Claude giờ có thể chấm dứt các cuộc trò chuyện 'hại người hoặc lạm dụng'
Công ty Anthropic đã giới thiệu các tính năng trong các mô hình Claude của mình để ngăn chặn một số cuộc trò chuyện có hại, đưa ra lý do là 'phúc lợi mô hình' chứ không phải bảo vệ người dùng. Sự thay đổi này áp dụng cho Claude Opus 4 và 4.1 trong những tình huống cực kỳ như mời mọc nội dung bất hợp pháp. Các biện pháp này là một phần của các thí nghiệm liên tục để hiểu và giảm thiểu các rủi ro liên quan đến tương tác trí tuệ nhân tạo.
Điểm chính
- Tính năng mới của Anthropic cho phép các mô hình Claude kết thúc các cuộc trò chuyện có hại. Động cơ của việc này là "sự phục lợi của mô hình", nhằm bảo vệ các mô hình AI khỏi các tương tác tiêu cực cực độ. Tính năng này chỉ được áp dụng trong những trường hợp hiếm như yêu cầu về nội dung tình dục liên quan đến trẻ em. Trong các bài kiểm tra trước khi triển khai, các mô hình Claude đã thể hiện sự bất an khi phải đối mặt với những tình huống như vậy. Người dùng vẫn có thể khởi chạy các cuộc trò chuyện mới ngay cả khi một cuộc trò chuyện trước đã kết thúc.
Vì sao quan trọng
- Điều này phù hợp với các cuộc thảo luận lớn hơn về trách nhiệm và an toàn trong tương tác với trí tuệ nhân tạo.
- Lo ngại về tác động của trí tuệ nhân tạo đối với hành vi người dùng giống như những cuộc tranh luận liên quan đến nền công nghệ và sức khỏe tinh thần.
- Khái niệm "phúc lợi của mô hình" đang trở thành một yếu tố quan trọng trong đạo đức trí tuệ nhân tạo khi công nghệ phát triển.
Các khả năng mới của Anthropic cho thấy một cách tiếp cận chủ động đối với an toàn của mô hình AI, nhấn mạnh việc cần thiết của việc đánh giá liên tục khi các công nghệ AI tiến triển và tích hợp sâu hơn vào tương tác của người dùng.