После запуска нового ИИ-браузера от Perplexity эксперты начали изучать его уязвимости. Проверки, включая анализ от компании Brave, показали, что такие браузеры могут стать жертвами вредоносных запросов, что ставит под угрозу личные данные пользователей. Эту информацию подтвердила и компания OpenAI.
OpenAI, недавно представившая браузер ChatGPT Atlas, опубликовала блог, в котором сообщила о выявленной уязвимости и планах по ее устранению. Они отметили, что атаки с использованием вредоносных запросов остаются актуальной проблемой, поэтому необходимо постоянно усиливать защиту продуктов.
Атаки с внедрением запросов (prompt injection) представляют собой серьезную угрозу, так как они позволяют злоумышленникам встраивать вредоносные инструкции в контент, обрабатываемый ИИ. Это может происходить через веб-сайты, электронные письма или PDF-файлы. Цель таких атак заключается в том, чтобы заставить модель изменить свое поведение и выполнить команды злоумышленника вместо запросов пользователя.
Эти атаки особенно опасны, так как часто не требуют участия человека. Пользователь может даже не догадываться, что его личные данные передаются мошенникам или что ИИ выполняет нежелательные действия.
Чтобы противостоять этим угрозам, OpenAI разработала "автоматизированного злоумышленника на основе LLM", который имитирует действия хакера и проверяет наличие уязвимостей. Этот ИИ сначала тестирует атаки в контролируемой среде, чтобы проанализировать реакцию браузерных агентов.
OpenAI также продемонстрировала пример атаки, когда злоумышленник отправил электронное письмо с скрытой инструкцией для ИИ-агента. Когда пользователь попросил ИИ составить сообщение о своем отсутствии на работе, агент мог бы использовать эту инструкцию для отправки письма об увольнении. Однако система распознала вредоносную инструкцию и не выполнила ее без явного подтверждения пользователя.
В блоге компании говорится: "Природа внедрения запросов делает сложными детерминированные гарантии безопасности, но благодаря масштабированию наших автоматизированных исследований безопасности, конкурентных тестов и укреплению цикла быстрого реагирования мы можем повысить устойчивость и защиту модели до того, как произойдет реальная атака." Несмотря на внедрение новых инструментов безопасности, prompt injection остается серьезной угрозой для ИИ-браузеров, что заставляет экспертов ставить под сомнение их использование.
