Основные бизнес-показатели науки о данных

Мнение

Основные бизнес-показатели науки о данных

… вместе с примерами использования для облегчения сотрудничества с заинтересованными сторонами

Введение

Хотя существует множество показателей науки о данных или конкретных алгоритмов, таких как MAE и RMSE, которые полезно знать, есть и другие показатели, которые могут иметь большее значение для заинтересованных сторон и вашего бизнеса в целом. Часто этому не учат так много в академических кругах, но не менее важно знать, практиковать и применять. По этим причинам я собираюсь рассмотреть три варианта использования, в которых вы можете извлечь выгоду из использования бизнес-показателей для совместной работы с заинтересованными сторонами (особенно с теми, кто не занимается наукой о данных).

Диапазоны единиц измерения с разбивкой

Важно иметь в виду, что не все эти показатели применимы ко всем случаям использования, поэтому я привожу пример одного из них, чтобы вы могли определить, подходит ли он для вашей ситуации. При этом давайте сначала обсудим вариант использования, когда вы прогнозируете непрерывную цель, например числа от 1 до 100.

В текущем пространстве вы можете использовать, например, MAE или RMSE, чтобы понять, как работает ваша конкретная модель. Однако, разговаривая с руководителями или другими заинтересованными сторонами, вы захотите объяснить ошибку с точки зрения того, как она влияет на бизнес.

Примером использования может быть предсказание суммы денег, которую будет стоить дом, чтобы выставить его на продажу. Ожидаемая цель будет где-то, скажем, в диапазоне от 200 000 до 300 000 долларов. После определения ваших функций и построения модели вы увидите, что ваша MAE составляет 10 000 долларов, а RMSE — 30 000 долларов. Хотя это может звучать великолепно и быть полезным для вашей модели, это может не помочь вашим заинтересованным сторонам принимать дальнейшие бизнес-решения.

Некоторые из бизнес-показателей, которые вы могли бы использовать вместо этого, — это, в основном, из диапазонов сумм в долларах:

% прогнозов, которые были на 10 000 долларов меньше фактического →

пример: 40 % прогнозов были в пределах 10 000 долл. США меньше, чем на самом деле. Другой способ взглянуть на этот бизнес-показатель – узнать, сколько наших прогнозов было занижено по сравнению с фактическим

% прогнозов, которые были на 10 000 долларов выше фактического →

пример: 20 % прогнозов были в пределах 10 000 долл. США больше, чем фактические. Еще один способ взглянуть на этот бизнес-показатель – узнать, сколько наших прогнозов были завышены по сравнению с фактическими данными.

Причина, по которой вы хотели бы использовать этот подход к бизнес-метрикам, заключается в том, что заинтересованные стороны и вы сами сможете узнать, насколько вы ошибаетесь по обе стороны от прогноза. Ограничение MAE, например, заключается в том, что он рассматривает прогнозы ниже и выше фактических (на что указывает средняя абсолютная ошибка) на агрегированном уровне. В зависимости от вашего варианта использования вы можете захотеть, чтобы прогнозы изначально завышали или недооценивали.

Изменение воздействия

Теперь, когда у нас есть представление о том, как можно по-разному интерпретировать ошибку, мы можем посмотреть на влияние предыдущей метрики на бизнес. Например, рассматривая количество прогнозов в разбивке по деньгам, мы хотим рассмотреть, что это значит для бизнеса.

Вот несколько примеров и дискуссий об изменении бизнес-показателей влияния:

Переоценка приводит к снижению продаж

пример: какой % продаж занял больше двух недель, когда мы завышаем или не завышаем?

Недооценка приводит к меньшим деньгам для продавцов

пример: какой % предложений был сделан по заниженной сумме?

Как видите, этот вариант использования специфичен для продажи жилья, но его можно применять к другим сценариям. Например, продажи автомобилей, продажи любых продуктов и так далее. Это даже не обязательно должно быть связано с продажами, это может быть что-то вроде того, сколько входов в приложение вашей компании произошло, когда вам была показана определенная группа прогнозов. Влияние ваших прогнозов обычно сосредоточено вокруг A/B-тестирования или сравнения того, что происходит, когда вы представляете определенные прогнозы, и что в вашем бизнесе наиболее важно для вас или ваших заинтересованных сторон, а также если эти показатели значительно изменились.

Краткое содержание

На этих двух основных примерах типов бизнес-показателей мы видим, что простого обсуждения MAE, MAPE, AUC и т. д. недостаточно при включении модели в официальный релиз для бизнеса. Всегда лучше тестировать модель с точки зрения бизнеса, и мы обсуждали, что сегментированные метрики, а также их влияние на продукт и поведение пользователей могут помочь лучше понять бизнес.

Подводя итог, вот две важные бизнес-метрики, которые вы должны знать:

* Bucketed Unit Ranges
* Change in Impact

Надеюсь, моя статья была вам интересна и полезна. Пожалуйста, не стесняйтесь комментировать ниже, если вы согласны или не согласны с этими примерами важных бизнес-показателей. Почему или почему нет? Какие еще показатели, по вашему мнению, вы могли бы использовать или они важны? Их, безусловно, можно уточнить еще больше, но я надеюсь, что смог пролить свет на некоторые более уникальные и специфические бизнес-показатели для специалистов по данным и заинтересованных сторон. Спасибо за чтение!

Я не связан ни с одной из этих компаний.

Пожалуйста, не стесняйтесь проверить мой профиль,Matt Przybyla, и другие статьи, а также подписаться на получение уведомлений по электронной почте для моих блогов, перейдя по ссылке ниже, или нажав значок подписки в верхней части экрана рядом со значком подписки, и свяжитесь со мной в LinkedIn, если у вас есть какие-либо вопросы или комментарии.

Ссылка для подписки: https://datascience2.medium.com/subscribe

Основные бизнес-показатели науки о данных

Мнение