Аргументы в пользу интерпретируемого ИИ
Мы живем в эпоху ИИ. Это повсюду вокруг нас, и средства массовой информации не позволяют нам забывать о влиянии, которое они продолжают оказывать на мир, каким мы его знаем. Из-за растущей популярности ИИ и его приложений все больше и больше людей осознают роль, которую машинное обучение играет в повседневной жизни — от систем рекомендаций до прогнозов и генеративного ИИ.
Учитывая повышенную чувствительность населения в целом ко всему, что связано с искусственным интеллектом, для специалистов по данным и инженеров становится все более важным иметь возможность интерпретировать, когда это необходимо, почему их модели делают определенные прогнозы и решения. Обычно хорошая модель может взять проблему и объяснить чтоможет наблюдаться в будущем. Однако это решает только часть реальной проблемы:
Модель также должна объяснить, как был получен прогноз (почему), потому что правильный прогноз лишь частично решает вашу первоначальную проблему. — Кристоф Мольнар, Интерпретируемое машинное обучение
Приведенная выше цитата подчеркивает необходимость рассмотрения процесса, который модель использует для прогнозирования. Существует множество методов объяснения моделей, но я собираюсь сосредоточиться на методе, который становится все более популярным благодаря своей эффективности и простоте.
SHAP (пояснения к аддитивам SHapley)
SHAP — это применение ценности Шепли — хорошо проверенной концепции теории кооперативных игр, которая измеряет индивидуальный вклад каждого игрока в исход игры. Например, если четверо друзей вместе играют в совместную игру, значения Шепли можно рассчитать, чтобы измерить степень, в которой каждый друг внес вклад в результат игры.
Когда дело доходит до интерпретируемого машинного обучения, SHAP рассматривает игроков в игре как отдельные элементы модели, а результат игры — как предсказания модели. Таким образом, SHAP измеряет, как каждая особенность модели влияет на индивидуальный прогноз.
Подробности
Значения Шепли рассчитываются путем моделирования игры, в которой некоторые игроки отсутствуют, а некоторые присутствуют. Моделируя различные игры с участием разных групп игроков и рассчитывая результаты, модель может…
