Почему Netflix может сэкономить 1 миллиард долларов с помощью машинного обучения, в то время как 87% проектов по науке о данных никогда не доходят до производства?!
Машинное обучение больше не является тенденцией или чем-то приятным, любая организация, использующая возможности продуктов машинного обучения, имеет неоспоримое конкурентное преимущество перед своими конкурентами. В следующих статьях показаны четкие истории успеха:
- Netflix сэкономил 1 миллиард долларов в 2017 году благодаря алгоритму машинного обучения, который рекомендует подписчикам персонализированные телешоу и фильмы. (Форбс)
- Используя алгоритм машинного обучения, Amazon автоматизирует сбор и упаковку товаров в условиях складской логистики. Благодаря возможностям Kiva среднее время доставки по клику Amazon сократилось на 225 % с 60–75 до 15 минут. (Форбс)
- Программа машинного обучения Google Deep Learning в 89% случаев точно выявляет рак молочной железы. Они побеждают настоящих патологоанатомов, точность которых составляет всего 74%. (Блог Google AI)
- Точность перевода Google увеличилась с 55% до 85% после использования алгоритма машинного обучения. (Майк Шустер)
- Точность алгоритма машинного обучения Google AI в прогнозировании смерти пациентов составляет 95%. (Блумберг)
- Точность платформы машинного обучения Azure в прогнозировании максимумов и минимумов фондового рынка составляет 62 %. (Майкрософт)
Сложность системы машинного обучения
Единственный способ, которым предприятия могут в полной мере извлечь выгоду из машинного обучения, — это включить его в продукты и услуги, которые он использует и предоставляет своим клиентам. Другими словами, через продукты ML.
По определению, продукт ML — это любой продукт или услуга, использующие машинное обучение как часть своей основной функциональности. Продукты машинного обучения окружают нас повсюду, и они, несомненно, улучшают нашу жизнь при каждом использовании.
Традиционно машинное обучение тесно связано с высокой точностью моделей, а также с тяжелой работой и творческим подходом, необходимыми для достижения этой цели. Это было и остается важным.
С постоянно растущей доступностью данных и мощными вычислительными возможностями эти модели превзошли человеческую точность в некоторых областях. На самом деле, в результате того, насколько точными или интеллектуальными стали эти модели, а также благодаря тому, что стало доступно гораздо больше данных, мы начали использовать их повсюду. В результате их приложения становились все более изощренными.
Изначально процесс машинного обучения был простым. Собирайте данные, создавайте свою модель и используйте ее в своем коде. Этот подход, несмотря на свою простоту, требовал определенных технических затрат из-за разрыва между построением модели машинного обучения в экспериментально контролируемой среде и использованием той же модели машинного обучения в продукте и, следовательно, в производственной среде. Можно с уверенностью сказать, что модель машинного обучения может начать создавать ценность только после ее использования в продукте.
Удивительно, но большинство компаний не могут реализовать свои возможности машинного обучения.
- Согласно статье Forbes 2020 года, только 15% ведущих фирм внедрили возможности ИИ в производство.
- 85% проектов по работе с большими данными терпят неудачу (Gartner, 2017 г.)
- 87% проектов по науке о данных никогда не доходят до производства (VentureBeat, 2019)
- Вплоть до 2022 года только 20% аналитических данных будут приносить результаты для бизнеса (Gartner, 2019)
Все эти статьи говорят что-то подобное: почему это происходит?
В конце концов, продукт машинного обучения — это программное обеспечение, мы уже давно используем программное обеспечение и неплохо справляемся с этим, так что же нового?
Дело в том, что программное обеспечение для машинного обучения принципиально отличается от традиционного программного обеспечения тем, что: в дополнение к коду, которым мы привыкли управлять, у нас теперь есть модель машинного обучения и данные. Проблема с данными заключается в том, что они генерируются гораздо быстрее, чем когда-либо прежде.
В традиционном программном обеспечении код — это все, о чем нам нужно заботиться, любое изменение любого рода, не имеет значения, будь то новая функция, изменение существующей функциональности или ошибка, приведет к изменению кода и повторному развертыванию. указанного кода.
В случае продуктов ML различные изменения могут привести к изменению данных, изменению модели или кода или даже к их комбинации. Некоторые из этих изменений мы можем контролировать, например функции и функции. Некоторые другие изменения находятся вне нашего контроля, такие как изменение в распределении данных реального мира (также называемое дрейфом данных) и достаточно ли хорошо представление проблемы в нашей модели (также известное как дрейф концепции).
Потребность в MLOps
Это объясняет, откуда берется сложность продуктов ML. Можно вообще не заморачиваться с моделями машинного обучения. Однако ценность таких приложений машинного обучения слишком велика, чтобы отказываться от нее только из-за сложности системы. К счастью, здесь на помощь приходит MLOps.
Проще говоря, MLOps — это набор концепций и передовых методов, направленных на создание надежных и эффективных систем машинного обучения.
Некоторые платформы могут предлагать функциональные возможности, поддерживающие MLOps, но концепция, лежащая в основе, является движущей силой.
Принципы MLOps просты, но их часто упускают из виду и недооценивают.
Заключение
До сих пор мы обрисовывали сложность продуктов машинного обучения, которые мешают компаниям полностью раскрыть свой потенциал с поддержкой ИИ. Мы кратко представили MLOps как ключ к раскрытию этой сложности и созданию эффективных и надежных продуктов машинного обучения.
Мы в Machine Learning Reply стремимся поддерживать и направлять наших клиентов, а также наших сотрудников на пути к успеху в области машинного обучения, независимо от того, где они изначально находятся.
В следующей статье нашей серии мы подробно рассмотрим принципы MLOps и рассмотрим, как компании первого уровня используют его для достижения беспрецедентного успеха.