Матрица путаницы
Существует несколько способов измерения производительности модели классификации, например. точность. Однако точность не всегда является лучшим способом измерения производительности, поскольку она склонна к выбросам. Кроме того, точность не подходит для задач, где важны как положительные, так и отрицательные результаты, например, в сфере здравоохранения.
Матрица путаницы
Матрица путаницы — это табличное представление фактического и прогнозируемого значения в модели классификации. Он работает как для бинарной, так и для мультиклассовой классификации. Это самый популярный метод, используемый для оценки логистической регрессии и рекомендательной системы.
Матрица путаницы представляет собой сводку фактических и прогнозируемых результатов проблемы классификации.
Точность
Точность — это отношение истинных срабатываний к общему количеству истинных срабатываний и ложных срабатываний. Чтобы лучше понять это, подумайте об этом как о том, насколько хорошо модель предсказывает конкретную категорию.
Хороший выбор показателя, если вы важно относитесь к ложным срабатываниям, цель – свести к минимуму ложные срабатывания, например, медицинский осмотр, тестирование на наркотики.
Отзыв или чувствительность
Отзыв — это, по сути, отношение истинных положительных результатов ко всем положительным результатам в основной истине. Чтобы лучше понять это, подумайте об этом, например, сколько раз модель смогла обнаружить определенную категорию.
Хороший выбор показателя, если вы очень заботитесь о ложноотрицательных результатах, цель состоит в том, чтобы свести к минимуму ложноотрицательные результаты, например, обнаружение мошенничества
Оценка F1
Это гармоническое среднее Точности и Отзыва. Когда точность и полнота кажутся важными, полезно использовать этот показатель, потому что он представляет оба из них.
Точность
Точность классификации, возможно, является самой простой метрикой для использования и реализации и определяется как количество правильных прогнозов, деленное на общее количество прогнозов, умноженное на 100.
Другие измерения
Мы можем получить различные другие измерения из матрицы путаницы.
Многоклассовая классификация
Использует методологию One vs Rest для расчета различных показателей.
Вот пример того, как будет выглядеть матрица путаницы в случае многоклассовой классификации.
Расчет точности и полноты для бинарной классификации прост. Для многоклассовой классификации мы берем среднее значение для каждого класса.
Ошибка типа 1 и типа 2
Тип 1
Ошибка Типа 1 также известна как ложноположительная и возникает, когда исследователь неправильно отвергает истинную нулевую гипотезу. Это означает, что в вашем отчете ваши выводы имеют важное значение, когда на самом деле они произошли случайно.
Тип 2
Ошибка типа II также известна как ложноотрицательная и возникает, когда исследователь не может отвергнуть нулевую гипотезу, которая на самом деле ложна, или неправильно отвергает альтернативную гипотезу. Здесь исследователь приходит к выводу, что значительного эффекта нет, хотя на самом деле он есть.
Использование тепловой карты
Вы также можете представить матрицу путаницы, используя тепловую карту. Плотность цвета представляет вес.
Я надеюсь, что эта статья даст вам общее представление о матрице путаницы.
Если у вас есть какие-либо вопросы или вы обнаружите, что что-то искажено, пожалуйста, дайте мне знать.
Спасибо!
