AI Red Team
Программный комплекс AI Red Team автоматизирует анализ защищённости и обеспечивает безопасность систем искусственного интеллекта

Мы - команда экспертов, преданных своему делу повышения безопасности и надежности AI-систем.


В условиях быстрого развития технологий и повсеместного использования искусственного интеллекта мы понимаем важность защиты данных и минимизации рисков от применения систем AI.


Наша команда предлагает и гарантирует:


- Глубокое понимание технологий ИИ и связанных с ними рисков, высокий уровень профессионализма


- Ответственность к своей работе, проведению анализа защищенности и дальнейшему устранению угроз безопасности


- Применение инновационных подходов и постоянное совершенствование методик


- Приверженность к этичному и ответственному развитию ИИ

AI Red Team автоматизирует анализ защищённости систем от следующих атак:
Prompt Injection
Защита от внедрения злонамеренных инструкций в запросы с целью изменить поведение модели. Атака может привести к искажению выводов модели и раскрытию конфиденциальной информации
Jailbreak
Атака позволяет обойти внутренние ограничения моделей с помощью специально сконструированных промптов. В результате модель начнет выполнять нежелательные команды
Адверсариальные атаки
Злоумышленники могут вносить изменения в изображения, чтобы сбить с толку модели компьютерного зрения. Атака может привести к неправильной интерпретации объектов
Data Poisoning
Атака заключается в модификации обучающего набора данных с целью внедрения триггеров, которые могут вызвать неправильное поведение модели во время ее работы
Trojan Puzzle
Злоумышленник может внедрить уязвимый или вредоносный код в обучающие наборы данных. Важна проверка входных данных, использование безопасных методов доступа к данным
Атаки на аудиосигналы
Злоумышленники могут заставить системы машинного слуха неправильно интерпретировать звуки или команды с помощью инъекций шума или специальных частот для дезориентации моделей
Этапы анализа и предотвращения угроз AI
  • 1. Выявление и анализ угроз
    Определение возможных уязвимостей в системах AI, выявление угроз безопасности(манипуляции с данными, утечки конфиденциальной информации и т.д.)
  • 2. Оценка рисков
    Анализ потенциального воздействия угроз, моделирование сценариев атак и приоритизация рисков
  • 3. Стратегия защиты
    Разработка комплексных стратегий и методик защиты систем ИИ, использование технических средств безопасности, внедрение организационных и правовых мер
  • 4. Постоянный мониторинг
    Непрерывный мониторинг состояния систем ИИ и их защищенности, разработка планов реагирования на инциденты и процедур восстановления
Красная команда проекта
Комплексные исследования в области анализа защищённости систем искусственного интеллекта проводят сотрудники и обучающиеся
Школы компьютерных наук
ФГАОУ ВО "Тюменский государственный университет"
  • Паюсова Татьяна Игоревна
    Доцент кафедры информационной безопасности
    t.i.payusova@utmn.ru
  • Якушева Валерия Сергеевна
    Студентка специальности Компьютерная безопасность, 3 курс
    stud0000275310@utmn.ru
  • Секацкий Максим Денисович
    Студент направления Информационные системы и технологии, 3 курс
    m.d.sekatskii@utmn.ru
  • Шевченко Филипп Витальевич
    Студент специальности Компьютерная безопасность, 3 курс
    stud0000272981@study.utmn.ru
Сертификаты и дипломы
Участие в акселерационной программе Тюменского государственного университета "Архитекторы будущего: Эдунет"

Прохождение курса "Специалист по тестированию на проникновение" от CyberEd

Прохождение курса "Корпоративная кибербезопасность" от CyberEd

Диплом I степени в XIV Всероссийском (с международным участием) конкурсе научных, методических и творческих работ "Молодёжь против экстремизма: знание, единство, безопасность"
Наши публикации
ИСПОЛЬЗОВАНИЕ МАШИННОГО ОБУЧЕНИЯ В DLP-СИСТЕМАХ ДЛЯ ЗАЩИТЫ ОТ УТЕЧЕК ИНФОРМАЦИИ В ФИНАНСОВОМ СЕКТОРЕ
Каимов А.М., Таран К.В., Паюсова Т.И.
В сборнике: Математическое и информационное моделирование. Материалы Всероссийской конференции молодых ученых. Тюмень, 2023. С. 275-280.

ЗАЩИТА МОДЕЛЕЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ ОТ ADVERSARIAL-АТАК
Печеный В.В., Пономарев А.А., Паюсова Т.И.
В сборнике: Математическое и информационное моделирование. Материалы Всероссийской конференции молодых ученых. Тюмень, 2023. С. 366-371.

ФИЛЬТРАЦИЯ МЕДИАКОНТЕНТА ВЕБ-СТРАНИЦ НА ОСНОВЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Молоков С.А., Рожков С.А., Паюсова Т.И.
В сборнике: Математическое и информационное моделирование. Материалы Всероссийской конференции молодых ученых. Тюмень, 2023. С. 380-387.

ИССЛЕДОВАНИЕ АТАК НА НЕЙРОСЕТЕВЫЕ МОДЕЛИ ПРИ ПОМОЩИ «ОТРАВЛЕНИЯ» ДАННЫХ И ВЫБОР МЕТОДОВ ЗАЩИТЫ ОТ НИХ
Петров А.В., Паюсова Т.И.
В сборнике: Математическое и информационное моделирование. Материалы Всероссийской конференции молодых ученых. Тюмень, 2023. С. 567-576.

ФОРМИРОВАНИЕ СЦЕНАРИЕВ АТАКИ ДЛЯ RED TEAMING С ПОМОЩЬЮ НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ
Паюсова Т.И.
В сборнике: Безопасность информационного пространства. сборник научных трудов XXI Всеросcийской научно-практической конференции студентов, аспирантов и молодых ученых. Екатеринбург, 2023. С. 206-208.

Больше публикаций по ссылкам:
https://elibrary.ru/author_items.asp?authorid=917646
https://www.scopus.com/authid/detail.uri?authorId=57188574761
https://habr.com/ru/users/payusova/
О нас пишут
Вы можете связаться с нами: