Почему Netflix может сэкономить 1 миллиард долларов с помощью машинного обучения, в то время как 87% проектов по науке о данных никогда не доходят до производства?!

Машинное обучение больше не является тенденцией или чем-то приятным, любая организация, использующая возможности продуктов машинного обучения, имеет неоспоримое конкурентное преимущество перед своими конкурентами. В следующих статьях показаны четкие истории успеха:

  • Netflix сэкономил 1 миллиард долларов в 2017 году благодаря алгоритму машинного обучения, который рекомендует подписчикам персонализированные телешоу и фильмы. (Форбс)
  • Используя алгоритм машинного обучения, Amazon автоматизирует сбор и упаковку товаров в условиях складской логистики. Благодаря возможностям Kiva среднее время доставки по клику Amazon сократилось на 225 % с 60–75 до 15 минут. (Форбс)
  • Программа машинного обучения Google Deep Learning в 89% случаев точно выявляет рак молочной железы. Они побеждают настоящих патологоанатомов, точность которых составляет всего 74%. (Блог Google AI)
  • Точность перевода Google увеличилась с 55% до 85% после использования алгоритма машинного обучения. (Майк Шустер)
  • Точность алгоритма машинного обучения Google AI в прогнозировании смерти пациентов составляет 95%. (Блумберг)
  • Точность платформы машинного обучения Azure в прогнозировании максимумов и минимумов фондового рынка составляет 62 %. (Майкрософт)

Сложность системы машинного обучения

Единственный способ, которым предприятия могут в полной мере извлечь выгоду из машинного обучения, — это включить его в продукты и услуги, которые он использует и предоставляет своим клиентам. Другими словами, через продукты ML.

По определению, продукт ML — это любой продукт или услуга, использующие машинное обучение как часть своей основной функциональности. Продукты машинного обучения окружают нас повсюду, и они, несомненно, улучшают нашу жизнь при каждом использовании.

Традиционно машинное обучение тесно связано с высокой точностью моделей, а также с тяжелой работой и творческим подходом, необходимыми для достижения этой цели. Это было и остается важным.

С постоянно растущей доступностью данных и мощными вычислительными возможностями эти модели превзошли человеческую точность в некоторых областях. На самом деле, в результате того, насколько точными или интеллектуальными стали эти модели, а также благодаря тому, что стало доступно гораздо больше данных, мы начали использовать их повсюду. В результате их приложения становились все более изощренными.

Изначально процесс машинного обучения был простым. Собирайте данные, создавайте свою модель и используйте ее в своем коде. Этот подход, несмотря на свою простоту, требовал определенных технических затрат из-за разрыва между построением модели машинного обучения в экспериментально контролируемой среде и использованием той же модели машинного обучения в продукте и, следовательно, в производственной среде. Можно с уверенностью сказать, что модель машинного обучения может начать создавать ценность только после ее использования в продукте.

Удивительно, но большинство компаний не могут реализовать свои возможности машинного обучения.

Все эти статьи говорят что-то подобное: почему это происходит?

В конце концов, продукт машинного обучения — это программное обеспечение, мы уже давно используем программное обеспечение и неплохо справляемся с этим, так что же нового?

Дело в том, что программное обеспечение для машинного обучения принципиально отличается от традиционного программного обеспечения тем, что: в дополнение к коду, которым мы привыкли управлять, у нас теперь есть модель машинного обучения и данные. Проблема с данными заключается в том, что они генерируются гораздо быстрее, чем когда-либо прежде.

В традиционном программном обеспечении код — это все, о чем нам нужно заботиться, любое изменение любого рода, не имеет значения, будь то новая функция, изменение существующей функциональности или ошибка, приведет к изменению кода и повторному развертыванию. указанного кода.

В случае продуктов ML различные изменения могут привести к изменению данных, изменению модели или кода или даже к их комбинации. Некоторые из этих изменений мы можем контролировать, например функции и функции. Некоторые другие изменения находятся вне нашего контроля, такие как изменение в распределении данных реального мира (также называемое дрейфом данных) и достаточно ли хорошо представление проблемы в нашей модели (также известное как дрейф концепции).

Потребность в MLOps

Это объясняет, откуда берется сложность продуктов ML. Можно вообще не заморачиваться с моделями машинного обучения. Однако ценность таких приложений машинного обучения слишком велика, чтобы отказываться от нее только из-за сложности системы. К счастью, здесь на помощь приходит MLOps.

Проще говоря, MLOps — это набор концепций и передовых методов, направленных на создание надежных и эффективных систем машинного обучения.

Некоторые платформы могут предлагать функциональные возможности, поддерживающие MLOps, но концепция, лежащая в основе, является движущей силой.

Принципы MLOps просты, но их часто упускают из виду и недооценивают.

Заключение

До сих пор мы обрисовывали сложность продуктов машинного обучения, которые мешают компаниям полностью раскрыть свой потенциал с поддержкой ИИ. Мы кратко представили MLOps как ключ к раскрытию этой сложности и созданию эффективных и надежных продуктов машинного обучения.

Мы в Machine Learning Reply стремимся поддерживать и направлять наших клиентов, а также наших сотрудников на пути к успеху в области машинного обучения, независимо от того, где они изначально находятся.

В следующей статье нашей серии мы подробно рассмотрим принципы MLOps и рассмотрим, как компании первого уровня используют его для достижения беспрецедентного успеха.