Безопасность LLM и автономных ИИ-агентов

Последние пару месяцев я натыкаюсь на большое количество новостей о разных ИИ-агентах, их безопасности и возможностях эксплуатации этих решений для различного рода атак. Контента накопилось прилично, поэтому давайте обсудим

Начнем с базы. Reuters недавно писал, что исследователи 293 дня сканировали сеть и нашли 175 108 публичных серверов Ollama в 130 странах. Люди ставили LLM локально, но оставляли его слушать 0.0.0.0 вместо 127.0.0.1 (фатальная ошибка). В итоге любой пользователь сети мог кидать промпты локально установленной нейронке, а в ряде случаев даже запускать инструменты, дергать функции и вытаскивать данные. В итоге вышло так, что 7,5 % системных промптов реализовывали вредоноснов (в том или ином виде), почти половина серверов рекламировали tool-calling, а небольшая группа хостов работала онлайн 87 % времени, фактически как бесплатный ботнет для спама и фишинга. Вся эта история говорит нам о чем? Да о том, что даже локальные инструменты нужно использовать правильно и корректно. В данном случае же никто ничего не ломал, пользователи сами открывали доступ к LLM. Поэтому помним, что беспечность с безопасностью связана отрицательно. Но идем дальше

Последнее время очень сильно завирусился Clawdbot... а нет, уже Moltbot... а нет, уже OpenClaw (сколько раз можно название менять?). Если вы вдруг пропустили эти сотни статей, постов и новостей об этом ИИ-агенте (как вам это удалось?), это опенсорсный инструмент, который запускается локально и может взаимодействовать с вашим компьютером и приложениями через мессенджеры (Telegram, WhatsApp и тд). Он выполняет задачи автономно, управляет календарем и почтой, отправляет сообщения, ищет информацию, запускает скрипты и автоматизирует рабочие процессы. На GitHub у него уже порядком 160к звезд (на момент публикации этого поста, естественно). Так вот

Злоумышленники уже пользуются путаницей с названиями и клонируют репозитории с малварью. Исследователи находят сотни открытых инстансов с API-ключами Anthropic, токенами Telegram и месяцами переписок. Forbes довольно подробно пишет об этом (рекомендую ознакомиться). Но ведь есть те, кто стремится использовать ИИ-агентов в рамках ИБ. Вот тут чуть подробнее проговорим

Важно понимать и то, что классическая ИБ исходит из того, что субъект предсказуем. Конкретные инструменты выполняют вполне логично ограниченный набор функций и используются для отдельных классов задач. С ИИ-агентами этого не происходит в большинстве случаев. Потому что очень сложно предсказывать их поведение. Лукацкий справедливо пишет, что тот же самый OpenClaw требует слишком много прав, а без них он мало чем отличается от "Shortcuts на macOS"

#информационная_безопасность