Після запуску нового ШІ-браузера від Perplexity, експерти звернули увагу на його вразливості. Перевірки, включаючи аналіз від компанії Brave, виявили, що такі браузери можуть стати жертвами шкідливих запитів, що ставить під загрозу особисті дані користувачів. Цю інформацію підтвердила і компанія OpenAI.
OpenAI, яка нещодавно представила браузер ChatGPT Atlas, опублікувала блог, де оголосила про виявлену вразливість і плани щодо її усунення. Вони зазначили, що атаки з використанням шкідливих запитів залишаються актуальною проблемою, тому необхідно постійно посилювати захист продуктів.
Атаки шляхом впровадження запитів (prompt injection) є небезпечними, оскільки вони дозволяють зловмисникам вбудовувати шкідливі інструкції в контент, що обробляється ШІ. Це може відбуватися через вебсайти, електронні листи або PDF-файли. Мета таких атак полягає в тому, щоб змусити модель змінити своє поводження та виконати команди зловмисника.
Ці атаки є особливо небезпечними, адже часто не вимагають участі людини. Користувач може навіть не усвідомлювати, що його особисті дані передаються шахраям або що ШІ виконує небажані дії.
Щоб протистояти цим загрозам, OpenAI розробила "автоматизованого зловмисника на основі LLM", який імітує дії хакера та перевіряє наявність вразливостей. Цей ШІ спочатку тестує атаки в контрольованому середовищі, щоб проаналізувати реакції браузерних агентів.
OpenAI також показала приклад атаки, коли зловмисник надіслав електронний лист із прихованою інструкцією для ШІ-агента. Коли користувач попросив написати повідомлення про відсутність на роботі, агент міг би використати цю інструкцію для відправлення листа про звільнення. Проте система виявила шкідливу інструкцію і не виконала її без підтвердження користувача.
В блозі компанії зазначено: "Впровадження запитів ускладнює забезпечення безпеки, але завдяки нашим дослідженням та швидкому реагуванню ми можемо підвищити стійкість моделі перед реальними загрозами". Незважаючи на нові заходи безпеки, prompt injection залишається серйозною загрозою для ШІ-браузерів, що змушує експертів ставити під сумнів їх використання.
