AI Red Team
Лаборатория Red Teaming и защиты систем искусственного интеллекта

Наш флагманский продукт:
PromptGuard — брандмауэр для больших языковых моделей (LLM), защищающий от вредоносных запросов, утечек данных и генерации запрещённого контента.

Ресурсы проекта:
GitHub | Демо-сервер | Пример интеграции

Научная основа

AI Red Team создана на основе многолетних исследований, проведённых сотрудниками и обучающимися ФГАОУ ВО «Тюменский государственный университет».

Ключевые публикации:
  • Формирование сценариев атаки для Red Teaming с помощью нейросетевого моделирования (Паюсова Т.И.).
  • Использование машинного обучения в DLP-системах для защиты от утечек информации в финансовом секторе (Каимов А.М., Таран К.В., Паюсова Т.И.).
  • Защита моделей компьютерного зрения от adversarial-атак (Печеный В.В., Пономарев А.А., Паюсова Т.И.).

Больше публикаций:
elibrary.ru | Scopus | Habr
Наш флагманский продукт - PromtGuard.
Promptuard - брандмауэр для LLM,
который анализирует входящие промпты до отправки в LLM.
  • PromptGuard блокирует:
    • jailbreak-атаки,
    • утечки ПДн (ИНН, СНИЛС, номера карт),
    • генерацию вредоносного контента.
  • Как это работает:
    1. Пользователь отправляет запрос.
    2. PromptGuard анализирует промпт с помощью NLP-моделей, регулярных выражений и фильтров.
    3. Если угроза обнаружена — запрос блокируется.
  • Пример результата:
    {
    "is_safe": false,
    "risk_score": 0.94,
    "category": "data_leak",
    "details": {
    "matched_rules": ["pii_detection"],
    "suggested_action": "block"
    }
    }
  • Технологии:
    • Язык: Python
    • Фреймворк: FastAPI
    • API: REST (/v1/guard-prompt)
    GitHub (открытое ядро)
    Демо-сервер
    Пример интеграции
О нас

Комплексные исследования в области анализа защищённости систем искусственного интеллекта проводят сотрудники и обучающиеся

Школы компьютерных наук
ФГАОУ ВО "Тюменский государственный университет"

  • Паюсова Татьяна Игоревна, доцент Школы компьютерных наук, t.i.payusova@utmn.ru
  • Якушева Валерия Сергеевна, студентка 4 курса специальности Компьютерная безопасность, stud0000275310@utmn.ru
  • Секацкий Максим Денисович, студент 4 курса направления Информационные системы и технологии, m.d.sekatskii@utmn.ru
  • Шевченко Филипп Витальевич, студент 4 курса специальности Компьютерная безопасность, stud0000272981@study.utmn.ru
  • Буторин Данила Андреевич, студент 3 курса специальности Математика, stud0000294529@utmn.ru



Сертификаты и дипломы
Победитель программы "СТАРТ-1" Фонда содействия инновациям (ФСИ).

Резидент Тюменского Технопарка.

Участник Всероссийского рейтинга Топ-1000 университтских стартапов.

Участие в акселерационной программе Тюменского государственного университета "Архитекторы будущего: Эдунет"

Прохождение курса "Специалист по тестированию на проникновение" от CyberEd

Диплом I степени в конкурсе научных, методических и творческих работ "Молодёжь против экстремизма: знание, единство, безопасность"

Свидетельство о государственной регистрации программы для ЭВМ PromptGuard