Microsoft попереджає про ненадійність та небезпеку ШІ в Windows 11

Microsoft попередила користувачів тестових збірок Windows 11 про можливі «галюцинації» та ризики безпеки при використанні нової функції ІІ-агента. Пов'язано це з обмеженими можливостями мовної моделі, що використовується.

Нова функція з'явилася в збиранні Build 26220.7262 і включається вручну в розділі «Компоненти ШІ». При активації система відразу виводить попередження: технологія експериментальна і може вплинути на роботу пристрою від помилок у відповідях до збоїв поведінки. Компанія пояснює, що мовна модель, що лежить в основі ШІ-агента, поки що все ще допрацьовується, а тому здатна видавати правдоподібні, але невірні відповіді. Це з неповнотою навчальних даних, помилками інтерпретації контексту та інші чинниками.

Набагато серйозніше виглядають ризики безпеки. Експерти зазначають, що зловмисники вже тестують методи атак на таких автономних агентах. Один із головних сценаріїв — прихована підміна підказок: шкідливі вказівки вбудовуються в документи або елементи інтерфейсу, і AI може виконати їх автоматично. У такому разі агент теоретично здатний встановити шкідливе програмне забезпечення або передати конфіденційні дані.

Ситуацію ускладнює те, що за умовчанням ІІ-агент отримує доступ на читання та запис у ключові користувацькі каталоги: «Документи», «Робочий стіл», «Завантаження» та інші папки. Microsoft обіцяє посилити захист, додавши більш точні дозволи та бар'єри проти атак через підказки. Але поки що компанія рекомендує включати експериментальну функцію тільки тим, хто розуміє пов'язані з нею ризики.