Готовы ли вы к этому новому вектору атаки?

Можете ли вы догадаться, что это за тип атаки?

  • Ориентирован на прикладной уровень
  • Обходит традиционные средства защиты
  • Раскрывает внутреннюю работу приложения и данных
  • Причиной этой атаки является то, что приложение раскрывает слишком много информации в своих сообщениях.

Если вы догадались об атаках путем внедрения SQL-кода, то мне очень не хочется вам об этом говорить, но вы ошибаетесь.

Поздоровайтесь с атаками логического вывода против ИИ. и приложения для машинного обучения, которые могут стать атаками SQL-инъекций завтрашнего дня.

Точно так же, как атаки SQL-инъекций на веб-приложения оказались слепым пятном для большинства команд по кибербезопасности около двух десятилетий назад; Атаки логического вывода будут делать то же самое для приложений на основе ИИ.

Точно так же, как SQL-инъекции происходили из-за уязвимостей в коде и требовали исправления на уровне исходного кода; Атаки на вывод происходят из-за основного алгоритма ИИ.

Вы все еще беспокоитесь?

Итак, что такое атаки логического вывода

Чтобы понять атаки логического вывода, давайте посмотрим, как работают системы искусственного интеллекта и машинного обучения.

Система машинного обучения (ML) использует обучающие данные для накопления знаний с течением времени и принятия решений или прогнозов. Чем больше обучающих данных будет передано, тем точнее будет это решение.

После запуска системы машинного обучения обычно предоставляют общедоступные API-интерфейсы, которые запрашиваются пользователями и другими приложениями для доступа к их функциям.

Эти модели могут быть развернуты в таких отраслях, как здравоохранение и банковское дело, и, таким образом, для обучения работе с конфиденциальными данными, такими как данные держателя карты или личная информация (PII), которые являются золотыми для злоумышленника.

Как злоумышленнику, что, если бы мне было интересно узнать следующее:

  • Какие данные использовались для обучения системы?
  • Как система машинного обучения принимает эти решения?

Оба они недоступны, и именно здесь вступают в действие атаки логического вывода.

В атаке логического вывода злоумышленник заинтересован в получении данных, на которых была обучена модель... или в работе самой модели. Учитывая, что эти модели иногда обучаются на очень конфиденциальных данных и стоят миллионы в интеллектуальной собственности; каждый из них может стать катастрофой для компании!

Наиболее распространенный тип атаки на основе логического вывода называется Вывод о членстве (MI), когда злоумышленник пытается восстановить данные, которые использовались для обучения модели.

Модели машинного обучения обычно предоставляют ответы в виде показателей достоверности и дают более высокие оценки, если данные, которые им передаются, совпадают с данными, на которых они обучались.

Все, что нужно злоумышленнику, — это доступ к API, и он может начать прогонять записи через модель ML и оценивать, была ли модель обучена на конкретном наборе данных или нет, на основе выходной оценки.

Если злоумышленник знает, что он делает, он может реконструировать модель и заставить ее раскрыть, какая информация использовалась для ее обучения. Это может иметь серьезные последствия, если модель машинного обучения обучается на данных, которые считаются конфиденциальными.

Давайте рассмотрим несколько примеров того, как может произойти эта атака:

  • Злоумышленник может запросить модель с именем или идентификатором, чтобы узнать, находится ли человек в списке пациентов в больнице или в конфиденциальном медицинском списке.
  • Злоумышленник может узнать, давали ли пациенту определенное лекарство или нет.
  • Злоумышленник может предоставить изображения модели распознавания лиц, чтобы узнать, использовалось ли конкретное лицо при обучении или нет.

В более сложных атаках человек со злым умыслом может даже извлечь номера кредитных карт и другую конфиденциальную информацию, например номера социального страхования!

Становление машинного обучения как услуги

Одна вещь, которая увеличивает поверхность атаки, — это популярность машинного обучения как услуги (MaaS) в последние годы. Большинство компаний не хотят утруждать себя созданием модели с нуля и могут использовать эти облачные сервисы, чтобы приступить к работе с первого дня.

Облачная служба выполняет всю тяжелую работу, и необходимо предоставлять только обучающие данные. Проблема заключается в том, что злоумышленники могут использовать любые слабые места в модели машинного обучения, чтобы в случае их обнаружения потенциально проводить атаки с выводом о принадлежности к нескольким компаниям.

К сожалению, это не теория, поскольку исследователи из Корнельского университета опубликовали подробности атак на основе логического вывода, которые можно использовать против таких моделей.

Новые атаки требуют новых средств контроля.

Атаки на модели AI и ML отличаются от традиционных атак на кибербезопасность и не могут быть исправлены таким же образом. Не существует «заплатки» для исправления алгоритма, поскольку проблема заключается в базовых данных, на которых он обучался.

Точно так же, как Application Security превратилась из слепой зоны безопасности в индустрию поставщиков (купите этот WAF сейчас!) и в зрелую дисциплину безопасности, нет никаких сомнений в том, что ИИ и атаки машинного обучения будут проходить по тому же маршруту.

Однако мы МОЖЕМ извлечь уроки из прошлых ошибок и начать внедрять некоторые элементы управления уже сегодня:

  • Модели машинного обучения должны иметь возможность обобщать, если они сталкиваются с обучающими данными, т. е. ранее увиденные и неувиденные оценки данных должны быть похожими и не слишком отличаться, чтобы выдать информацию злоумышленнику.
  • Открытые API-интерфейсы моделей машинного обучения должны иметь функции регулирования, чтобы определить, постоянно ли злоумышленник запрашивает эти модели со злым умыслом. Подумайте о том, как «неудачные входы» с одного IP-адреса вызывают оповещение для команды кибербезопасности.
  • Периодическое тестирование моделей AI и ML необходимо добавить к регулярным мероприятиям по обеспечению безопасности с разработкой конкретных случаев атак. Ознакомьтесь с моим подробным постом на то же самое.

Надеюсь, вам понравилось это читать. Если вам интересна эта тема, то ознакомьтесь с моим курсом со скидкой A.I. управление и кибербезопасность

Таймур Иджлал — удостоенный множества наград руководитель отдела информационной безопасности с более чем двадцатилетним международным опытом в области кибербезопасности и управления ИТ-рисками в финтех-индустрии. Подключиться к Таймуру можно в LinkedIn или в его блоге. У него также есть канал на YouTube Cloud Security Guy, на котором он регулярно публикует информацию об облачной безопасности, искусственном интеллекте и общие советы по карьере в области кибербезопасности.

Если вам понравилось это читать, поддержите меня, став участником Medium по этой ссылке