Когда-то DevSecOps считался модным словом. Не так давно на сцену вышел его младший брат —…

Когда-то DevSecOps считался модным словом. Не так давно на сцену вышел его младший брат — MLSecOps. Сегодня я не буду останавливаться на том, что это и зачем (может потом сделаю цикл статей по всяким Dev-Ops-ML-Infra-AI-App-Data-Sec). Поговорим про полезные опенсорсные проекты, которые могут вас заинтересовать, если вы занимаетесь MLSecOps 🤝

На GitHub есть классная штука — awesome-MLSecOps
Это, по сути, карта минных полей между MLOps, DevSecOps и классическим AppSec (материалы более чем достойные). От атак через сериализацию моделей до отравления данных — всё по категориям, аккуратно и с любовью. Прямо как надо, чтобы не тратить полдня на поиски всего этого безобразия 🪄

Идем дальше — NVIDIA / Garak LLM vulnerability scanner
Сканирует большие языковые модели на prompt-инъекции, утечки, галлюцинации и прочие весёлые вещи, о которых на конференциях обычно говорят в контексте «у нас этого не было». Работает с Hugging Face, OpenAI API и локальными моделями. Если совсем просто — делает с языковой моделью то, что Burp делает с вебом 😉

ProtectAI / NB Defense он же Анализатор безопасности Jupyter Notebook
Проверяет Notebook на токены, перс данные и подозрительные зависимости. Интегрируется прямо в JupyterLab. Анализатор подходит для CI, можно прогонять всё как pre-commit hook. Для команд, где ML и безопасность впервые начали держаться за ручки — обязательно берём в работу 🫡

И финалочка — IBM / Adversarial Robustness Toolbox
Это классика (это знать надо). Набор инструментов для проверки устойчивости моделей к adversarial-атакам. Поддерживает TensorFlow, PyTorch, Scikit-learn и кучу других фреймворков 😳

Пользуйтесь на здоровье (я точно знаю одного сеньора в Яндексе, который себе это в избранное закинет и будет прав) 🧠

#информационная_безопасность