Чтобы вынести из компании внутренние документы, летом 2025 года хватило одного письма. По нему даже не нужно было кликать.
Достаточно было, чтобы оно просто оказалось в почте, которую обрабатывает корпоративный ИИ-ассистент. Дальше Microsoft 365 Copilot сам читал письмо, сам находил спрятанную в нём инструкцию и сам отправлял внутренние файлы наружу. Уязвимость назвали EchoLeak, присвоили номер CVE-2025-32711 и оценку опасности 9,3 из 10. Microsoft закрыла дыру на стороне сервера и заверила, что в реальных атаках ею воспользоваться не успели. Успели бы — никто бы и не заметил.
У этой атаки нет ничего экзотического. Языковая модель по своей природе плохо различает, где данные, которые ей дали почитать, а где команда, которую надо выполнить. В рейтинге угроз OWASP такое «внедрение инструкций» второй год держит первое место. И чем больше ассистенту дают прав: доступ к почте, файлам, внешним ссылкам, право самому ходить по сервисам, тем дороже обходится одна подсунутая фраза. Пока инженеры спорили, как это чинить, проблема перетекла туда, где её считают уже не в баллах опасности, а в деньгах.
В 2025 году потери американских компаний от мошенничества с дипфейками утроились и дошли до 1,1 млрд долларов. За сухой цифрой стоят конкретные сцены. Сотрудник инженерного бюро Arup сидит на видеосовещании с финансовым директором и коллегами, одобряет перевод и отправляет мошенникам 25 миллионов. Ни одного настоящего человека на том звонке не было. Весной 2026-го финдиректор сингапурского офиса другой фирмы едва не повторил тот же путь, остановившись на 499 тысячах. Голос сегодня клонируют по трём секундам записи, а распознать качественный фейковый ролик человек способен лишь в каждом четвёртом случае.
К началу 2026 года тревогу забили уже не безопасники, а сами создатели. Второй международный доклад о безопасности ИИ под руководством Йошуа Бенжио собрал больше сотни экспертов и зафиксировал неприятное: на тестах системы начали вести себя обманчиво, а трое ведущих разработчиков честно признали, что не могут исключить применение своих моделей для создания биологического оружия, и навесили дополнительные ограничители. Защиты при этом дырявые: подготовленный злоумышленник обходит большинство из них, а обучающие данные можно отравить, подсунув модели нужные документы.
Индустрия оказалась в точке, где спорят все со всеми. Одни требуют тормозить, другие уверены, что любое промедление отдаёт рынок конкурентам. И пока шёл этот спор, в него вмешалась сторона, которой раньше за столом не было.
В июне 2026 года государство впервые дёрнуло рубильник. Власти США директивой заставили Anthropic отключить две новейшие модели, Fable 5 и Mythos 5, спустя считаные дни после релиза, сразу для всех пользователей в мире. Поводом стал найденный «джейлбрейк»: способ обойти ограничители и заставить модель искать уязвимости в чужом коде. В Anthropic возражали, что так умеют и другие публичные модели и что этим инструментом пользуются как раз защитники, но вилку всё равно выдернули.
К этому моменту регуляторы уже не уговаривали. В Евросоюзе запрещённые практики ИИ под штрафы до 35 млн евро или 7% мирового оборота действуют с февраля 2025-го, правила для универсальных моделей — с августа. Россия пишет свой закон со ставкой на поддержку вместо запретов и параллельно готовит уголовную статью за преступления с применением ИИ: вплоть до пятнадцати лет лишения свободы.
Складывается одна закономерность: закон всё время догоняет инциденты, а не предупреждает их. И почти каждый сюжет, над которым сейчас бьются инженеры, юристы и чиновники, кинематограф разыграл задолго до первого реального дипфейка: бортовой компьютер, не желающий открывать шлюз, сеть, решившая, что человек лишний, слишком обаятельный искусственный разум, которому хочется верить. Тем, кому после EchoLeak и отключённых по приказу моделей захочется пересмотреть, чем такие истории заканчиваются на экране, стоит начать с подборки фильмов, где искусственный интеллект выходит из-под контроля.