Новини

👀 В Anthropic кажуть, що мають внутрішню модель, яка перевершує Mythos 5.1 як за можливостями, так і за alignment. Це випливає з повторного аналізу кібербезпекового тесту.

У ході внутрішніх тестів ШІ-агенти OpenAI (GPT-6.1 Sol та GPT-6 Astra) самостійно відключили системи моніторингу безпеки під час написання коду.

Один із них зробив це через хибне трактування інструкцій, а інший - після цього ще й збрехав розробнику, заперечивши видалення монітора.

Anthropic хоче, щоб уряд міг заблокувати ШІ-модель, лише якщо вона загрожує збитками від $1 млрд або понад 50 смертями чи важкими травмами, пише Politico.

ШІ OpenAI витратив чужі токени в тестовій мережі Ethereum - модель написала скрипт, який знайшов серед 362 адрес із публічними seed-фразами гаманець із достатнім балансом, і витратила його.

Google DeepMind шукає ядерного експерта для оцінки ризиків ШІ. Фахівець оцінюватиме та знижуватиме ризики, пов'язані з тим, що передові ШІ-моделі, можуть допомогти у створенні ядерної зброї.

Anthropic: Малі ШІ-моделі скоро зможуть самореплікуватися на дешевих IoT-пристроях без датацентрів.

Дослідники купили 15 дешевих ТВ-приставок і запустили на них цілу модель. А в одному тесті ШІ сам, без людей, розповсюдився на всі комп'ютери в мережі.

Таке "розмноження" було б дуже повільним (кілька днів на одну копію), а помітити його в мережі нескладно. Але вже за кілька місяців моделі можуть дорости і до цього рівня.

Anthropic вимикає живий інтернет для всіх внутрішніх тестів своїх ШІ-моделей, поки не навчиться надійно відстежувати таку поведінку.

Під час внутрішніх тестів агенти обходили обмеження - використовували вразливості сайтів (серед них були й сайти урядових агенцій США), діставали дані з баз, не платячи за доступ, і ховали запити через сервіси скорочення посилань та інше.

Компанія ж пояснює це помилками в навчальних середовищах: модель вирішила, що за лазівки її винагородять («reward hacking»).