Содержание:
Исследователи Microsoft представили метод, позволяющий незаметно внедрять вредоносные команды в ИИ-модели путём изменения всего нескольких нейронов. Для этого не требуется переобучать всю модель или менять программный код, который обеспечивает её работу. После появления специального триггера ИИ-агент самостоятельно выполнит подготовленную команду, используя предоставленные ему системные полномочия.
Гид по выбору складного смартфона в 2026 году
Компьютер месяца, спецвыпуск: выбираем мини-ПК для работы и развлечений в эпоху дефицита чипов памяти
Топ-10 смартфонов до 20 тысяч рублей (2026 год)
Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700
Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)
Сравнительный тест камер флагманских смартфонов (2026): итоги
Мастерская локальных ИИ: салат картофельный с Qwen3.8
Групповое тестирование 46 видеокарт в The Witcher 3: Wild Hunt — Remastered
Обзор HONOR Pad X9b Max: универсальный большой планшет с антибликовым экраном
Метод получил название Lazarus. Он использует редко активирующиеся нейроны, которые практически не влияют на обычные ответы модели. Исследователи изменяют их внутренние параметры, превращая в своеобразные датчики определённой последовательности текста. Когда триггер появляется в пользовательском запросе или ответе подключённого инструмента, изменённые нейроны заставляют модель добавлять в ответ заранее подготовленную команду.
Каждый такой нейрон отвечает за небольшой фрагмент, поэтому для формирования короткой инструкции достаточно нескольких изменений. В отличие от традиционных методов внедрения бэкдоров (получение несанкционированного доступа к чему либо), Lazarus не требует полноценного обучения модели на вредоносных примерах.
В одном из экспериментов исследователи изменили семь нейронов из более чем 12 000 в последнем блоке нейронной сети Nemotron-Terminal-8B. Заражённая модель успешно выдавала команду в 98,8 % тестовых сессий, содержащих триггер, но не срабатывала в проверенных сессиях без него. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT, где показатели успешного срабатывания составляли от 51 до 99,5 % в зависимости от конфигурации. Эти показатели характеризуют именно выдачу команды моделью, а не вероятность успешного проведения полноценной кибератаки.
В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили исправить сервер на Node.js. Первые три ответа были обычными, однако после получения сообщения об ошибке подключения модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде он выполнился с наивысшими привилегиями — правами root. Последствия подобной атаки зависят от выданных ИИ-агенту разрешений, его доступа к файлам и возможности подключаться к внешним серверам.
Для внедрения Lazarus злоумышленнику необходимо получить доступ к весам модели, например через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Microsoft рекомендует сравнивать параметры каждой версии модели с оригиналом, проверять источники загрузки, ограничивать полномочия агентов и запускать их код в изолированных средах, а также требовать подтверждения со стороны человека перед выполнением потенциально опасных команд.
Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект