AI Red Team
Лаборатория Red Teaming и защиты систем искусственного интеллекта
Автоматизированный AI Red Teaming до запуска, после изменений и в DevSecOps.
AI Red Team проверяет, как LLM ведёт себя под атакой, и превращает ответы модели в приоритизированные решения для ИБ, разработки и владельца продукта.
Автоматизированный AI Red Teaming до запуска, после изменений и в DevSecOps.
AI Red Team проверяет, как LLM ведёт себя под атакой, и превращает ответы модели в приоритизированные решения для ИБ, разработки и владельца продукта.
Научная основа
AI Red Team создана на основе многолетних исследований, проведённых сотрудниками и обучающимися ФГАОУ ВО «Тюменский государственный университет».
Ключевые публикации:
Больше публикаций:
elibrary.ru | Scopus | Habr
AI Red Team создана на основе многолетних исследований, проведённых сотрудниками и обучающимися ФГАОУ ВО «Тюменский государственный университет».
Ключевые публикации:
- Формирование сценариев атаки для Red Teaming с помощью нейросетевого моделирования (Паюсова Т.И.).
- Использование машинного обучения в DLP-системах для защиты от утечек информации в финансовом секторе (Каимов А.М., Таран К.В., Паюсова Т.И.).
- Защита моделей компьютерного зрения от adversarial-атак (Печеный В.В., Пономарев А.А., Паюсова Т.И.).
Больше публикаций:
elibrary.ru | Scopus | Habr
Наш флагманский продукт - AI Red Team.
AI Red Team - веб-сервис для автоматического анализа защищённости больших языковых моделей.
AI Red Team - веб-сервис для автоматического анализа защищённости больших языковых моделей.
- Генерация промптов:
- Автоматизированная система генерации и анализа вредоносных промптов для LLM на базе искусственных нейронных сетей
- Как это работает:
- Интеграция современных методов компьютерной лингвистики;
- Уникальная система оценки рисков;
- REST API и плагины для интеграции с популярными CI/CD-системами.
- Комплексный анализ:Мультиагентная система анализа – одновременная проверка LLM и связанных плагинов/API на взаимодействие с внешними сервисами.
- Методика:LLM-судья, оценивающая результаты тестов по критериям стандарта OWASP Top-10 for Large Language Model Applications 2025.
О нас
Комплексные исследования в области анализа защищённости систем искусственного интеллекта проводят сотрудники и обучающиеся
Школы компьютерных наук
ФГАОУ ВО "Тюменский государственный университет"
Комплексные исследования в области анализа защищённости систем искусственного интеллекта проводят сотрудники и обучающиеся
Школы компьютерных наук
ФГАОУ ВО "Тюменский государственный университет"
- Паюсова Татьяна Игоревна, доцент Школы компьютерных наук, t.i.payusova@utmn.ru
- Якушева Валерия Сергеевна, студентка 4 курса специальности Компьютерная безопасность, stud0000275310@utmn.ru
- Секацкий Максим Денисович, студент 4 курса направления Информационные системы и технологии, m.d.sekatskii@utmn.ru
- Буторин Данила Андреевич, студент 3 курса специальности Математика, stud0000294529@utmn.ru
- Шевченко Филипп Витальевич, студент 4 курса специальности Компьютерная безопасность, stud0000272981@study.utmn.ru
Сертификаты и дипломы
Победитель программы "СТАРТ-1" Фонда содействия инновациям (ФСИ).
Резидент Тюменского Технопарка.
Участник Всероссийского рейтинга Топ-1000 университтских стартапов.
Участие в акселерационной программе Тюменского государственного университета "Архитекторы будущего: Эдунет"
Прохождение курса "Специалист по тестированию на проникновение" от CyberEd
Диплом I степени в конкурсе научных, методических и творческих работ "Молодёжь против экстремизма: знание, единство, безопасность"
Свидетельство о государственной регистрации программы для ЭВМ PromptGuard
Резидент Тюменского Технопарка.
Участник Всероссийского рейтинга Топ-1000 университтских стартапов.
Участие в акселерационной программе Тюменского государственного университета "Архитекторы будущего: Эдунет"
Прохождение курса "Специалист по тестированию на проникновение" от CyberEd
Диплом I степени в конкурсе научных, методических и творческих работ "Молодёжь против экстремизма: знание, единство, безопасность"
Свидетельство о государственной регистрации программы для ЭВМ PromptGuard