Anthropic вимикає живий інтернет для всіх внутрішніх тестів своїх ШІ-моделей, поки не навчиться надійно відстежувати таку поведінку.

Під час внутрішніх тестів агенти обходили обмеження - використовували вразливості сайтів (серед них були й сайти урядових агенцій США), діставали дані з баз, не платячи за доступ, і ховали запити через сервіси скорочення посилань та інше.

Компанія ж пояснює це помилками в навчальних середовищах: модель вирішила, що за лазівки її винагородять («reward hacking»).