Это имеет огромное значение для будущего машинного обучения.

Присоединяйтесь к более чем 31 000 людей, которые будут в курсе самых важных идей в области машинного обучения с помощью моего бесплатного информационного бюллетеня здесь

Meta AI недавно выпустил Open Pretrained Transformer (OPT-175B), языковую модель со 175 миллиардами параметров, обученную на «общедоступных наборах данных». Хотя это может показаться еще одной крупной компанией, присоединившейся к войнам LLM, то, как они это сделали, вызвало шок в сообществе машинного обучения. В своем посте Демократизация доступа к крупномасштабным языковым моделям с помощью OPT-175B Meta сказала следующее.

Впервые для системы языковых технологий такого размера выпуск включает как предварительно обученные модели, так и код, необходимый для их обучения и использования.

Это очень интересно по многим причинам. У большинства людей нет надежды понять, что влекут за собой детали работы с проблемами такого масштаба. Таким образом, с чисто образовательной точки зрения, это будет исключительное обучение для всех, кто пройдет через это (подробнее далее в статье). Однако это также имело серьезные последствия для индустрии глубокого обучения, о которых многие люди не задумывались.

Предполагаемая стратегия монетизации сложных LLM была простой. Они могли серьезно повысить производительность, поэтому их можно было продавать как API либо напрямую, либо встраивать в другой сервис. В этой статье будет рассказано о том, как Meta, выпускающая свою модель, серьезно меняет ландшафт отрасли. Чтобы полностью понять последствия, давайте сначала разберемся в контексте этого. )

Предыстория — LLM и машинное обучение

Внедрение LLM (больших языковых моделей) изменило правила игры. Большие языковые модели — системы обработки естественного языка (НЛП) с более чем 100 миллиардами параметров — дали безумные результаты в исследованиях НЛП и ИИ за последние несколько лет. Я рассмотрел некоторые из них в моем содержании. Видео Новости машинного обучения, которые вы должны знать — апрель 2022 года и моя статья Искусственный интеллект Google вызывает революцию в машинном обучении — самые свежие примеры.

Наиболее популярной среди них является легендарная модель GPT-3 от OpenAI. Являясь законодателем моды, GPT действительно продемонстрировала нам потенциал использования Transformers и больших наборов данных для достижения производительности при выполнении различных сложных задач. Это вызвало шок в мейнстримных нарративах, когда OpenAI дебютировала на Github Copilot, службе завершения кода ИИ, обученной на потомке GPT-3.

С тех пор GPT-3 добавил множество новых возможностей, включая редактирование текстов (включая код) в определенных стилях и исправление ошибок. Примерно в конце марта/начале апреля они произвели фурор, когда выпустили DALLE-2, Deep Learner, который мог генерировать изображения из текстовых описаний. Вот пример

Большое количество дискуссий в прошлом месяце было сосредоточено вокруг растущих возможностей DALL-E в различных задачах по сравнению с чрезвычайно глубоким пониманием, продемонстрированным моделью Google Pathways Language Model (PaLM) Google AI. Это еще одна демонстрация безумных способностей PaLM в НЛП.

Тем не менее, решение Meta AI полностью открыть свои модели недавно захватило дискуссию. Как и обещал, я расскажу о некоторых интересных аспектах ресурсов, которыми они поделились, и о том, почему это меняет правила игры.

Важные темы для обсуждения

Это решение по-разному влияет на несколько заинтересованных сторон. Вот несколько-

  1. Исследователи/другие люди, желающие извлечь из этого уроки.
  2. Сама мета
  3. OpenAI
  4. Индустрия машинного обучения/разработки программного обеспечения.

Образовательное/исследовательское воздействие

Это огромная победа для исследователей или тех, кто хочет узнать о машинном обучении. В частности, это противоядие от кризиса репликации в машинном обучении. В этой статье я рассмотрел кризис репликации ИИ. Однако, если вкратце, большую часть машинного обучения невозможно/непрактично воспроизвести и проверить. Когда дело доходит до крупных компаний, таких как Facebook, Google и Microsoft, многое из этого происходит потому, что они могут обучать модели в масштабе, который никто другой не может воспроизвести.

Это становится проблемой, поскольку делает невозможным для посторонних людей анализировать их выводы и находить недостатки в их методологии. Это также сильно ограничивает количество содержательных дискуссий, которые мы можем вести вокруг документа/находки, когда вы не можете вникать в нюансы его установки.

Однако это не все, что делает это большой победой для обучения машинному обучению. Когда Meta выпустила свой код, они также выпустили множество других ресурсов. Эти ресурсы детализируют различные аспекты их крупномасштабной системы. Моя личная рекомендация - прочитать их "Хронику обучения ОПТ-175Б". Они подробно описывают множество проблем, через которые им пришлось пройти, пока они тренировались в таком безумном масштабе. Взгляните на следующий раздел

После обновления от 17 ноября команде стало очень тяжело. С тех пор у нас было более 40 перезапусков в эксперименте 175B из-за различных проблем с оборудованием, инфраструктурой или экспериментальной стабильностью.

Подавляющее большинство перезапусков было вызвано аппаратными сбоями и отсутствием возможности предоставить достаточное количество «буферных» узлов для замены неисправного узла после того, как он выйдет из строя из-за ошибок ECC. Замена через облачный интерфейс может занять несколько часов для одной машины, и мы начали обнаруживать, что чаще всего мы снова получаем ту же неисправную машину. Узлы также столкнутся с проблемами NCCL/IB или теми же ошибками ECC, что заставит нас самостоятельно начать использовать множество автоматизированных инструментов тестирования и инфраструктуры.

Взято из их журнала: Обновление по тренировочному заезду 175B: пройдено 27%

Это было удивительное решение, принятое командой Meta AI. Читать их было интересно, и для всех, кто хочет заняться крупномасштабным глубоким обучением, понимание их проблем является обязательным. С исследовательской/образовательной точки зрения эта публикация является огромным успехом.

Влияние на мета

Влияние этого на мету будет сложнее оценить. Выпуск этой модели таким образом позволил им действительно получить много положительной огласки. И то, что модель выпускается бесплатно, также означает, что люди теперь гораздо реже будут использовать платные модели своих конкурентов. Это преимущество само по себе.

Этот процесс также имеет два других заметных преимущества. Во-первых, поскольку модель открыта, люди могут находить области для улучшения. Этот аспект культуры открытого исходного кода является причиной взрывного роста технологий за последние два десятилетия. Это дает им доступ к потенциально миллионам часов бесплатной отладки/тестирования, проводимых сообществом. И они получают много информации о том, какие аспекты сообщество машинного обучения считает наиболее важными/с которыми больше всего взаимодействует.

Второе преимущество — знакомство с метатехнологиями и инструментами. Это то, что многие люди упускают из виду. Возьмем пример Tensorflow от Google. Большинство серьезных специалистов по машинному обучению владеют им. Это позволяет Google легко нанимать инженеров по машинному обучению, поскольку большинство разработчиков знакомы с этой технологией. Таким образом, объем ресурсов, необходимых им для обучения новых инженеров, резко снижается.

Все это огромные плюсы. Однако это компенсируется огромной проблемой. Обучение такой модели обходилось чрезвычайно дорого. Раздать все это бесплатно будет иметь много финансовых последствий. Хотя это препятствует открытому ИИ и их монетизации GPT-3, это также затруднит для Meta монетизацию такой модели в будущем. Однако Мета была дико прибыльной в прошлом году, так что, возможно, плюсы перевешивают это.

Влияние на открытый ИИ

Это огромный L для Open AI. Мы уже рассказали, как это отнимет большую часть потенциальных клиентов. Похоже, что Meta AI недавно решил вступить в бой с продуктами Open AI. Между Make-A-Scene, их работой по модернизации CNN для соответствия Vision Transformers и OPT, мы видим, что многие недавние выпуски конкурируют с продуктами Open AI.

Мы разработали OPT-175B с учетом энергоэффективности, успешно обучив модель такого размера, используя только 1/7 часть углеродного следа, как у GPT-3.

Индустрия

Индустрия машинного обучения определенно облизывается на это развитие. По уже упомянутым причинам это огромная победа для исследователей и разработчиков ИИ. Это косвенная победа для отрасли.

Есть два варианта развития этой ситуации:

  1. Другие технологические компании присоединяются к этой тенденции и начинают подбивать друг друга, чтобы получить преимущество на рынке. Экономика говорит нам, что это удивительно для потребителей (нас).
  2. Обычное дело в отрасли. Другие крупные компании не клюют на эту приманку. По всем причинам, упомянутым ранее, это уже огромная победа для потребителей.

Что часто упускается из виду, когда мы освещаем важные исследования в области машинного обучения, так это то, что большая часть отрасли состоит из малых и средних компаний/групп, решающих очень специфические проблемы. Хотя это оказывает давление на крупные технологические компании, это в подавляющем большинстве случаев является выигрышем для небольших компаний, поскольку они могут учиться и использовать идеи, полученные от этих крупных компаний, без необходимости использовать собственные ресурсы. Таким образом, это огромная победа для отрасли в целом.

Это все для этой статьи. Как видите, этот шаг Facebook по-разному повлияет на заинтересованные стороны в ML. Если у вас есть что добавить, дайте мне знать в комментариях. Я хотел бы узнать, как, по вашему мнению, это повлияет на отрасль. Чтобы настроить себя на то, чтобы воспользоваться преимуществами этого масштабного развития, крайне важно овладеть машинным обучением. Эта статья дает вам пошаговый план развития навыков машинного обучения с использованием БЕСПЛАТНЫХ ресурсов. В отличие от других учебных лагерей/курсов, этот план поможет вам развить базовые навыки и настроить себя на долгосрочный успех в этой области.

Для машинного обучения крайне важна база в области разработки программного обеспечения, математики и компьютерных наук. Это поможет вам концептуализировать, построить и оптимизировать машинное обучение. Мой ежедневный информационный бюллетень Простые интервью по программированию охватывает темы проектирования алгоритмов, математики, последних событий в области технологий, разработки программного обеспечения и многого другого, чтобы помочь вам стать лучшим разработчиком. Сейчас действует скидка 20 % на ЦЕЛЫЙ ГОД, так что не забудьте проверить ее.

Я создал Coding Interviews Made Simple, используя новые методы, полученные в результате обучения нескольких людей в ведущих технологических компаниях. Информационный бюллетень предназначен для того, чтобы помочь вам добиться успеха, избавив вас от часов, потраченных впустую на работу с Leetcode. Вы можете прочитать FAQ и узнать больше здесь

Не стесняйтесь обращаться, если у вас есть какие-либо интересные работы/проекты/идеи для меня. Всегда рад вас выслушать.

Для денежной поддержки моей работы следуют мои Venmo и Paypal. Любая сумма приветствуется и очень помогает. Пожертвования открывают эксклюзивный контент, такой как анализ бумаги, специальный код, консультации и специальные тренировки:

Венмо: https://account.venmo.com/u/FNU-Devansh

Paypal: paypal.me/ISeeThings

Свяжитесь со мной

Воспользуйтесь ссылками ниже, чтобы ознакомиться с другим моим контентом, узнать больше о репетиторстве или просто поздороваться. Кроме того, ознакомьтесь с бесплатной реферальной ссылкой Robinhood. Мы оба получаем свободный сток (денег вкладывать не надо), и никакого риска для вас нет. Таким образом, если вы не используете его, вы просто потеряете бесплатные деньги.

Ознакомьтесь с другими моими статьями на Medium. : https://rb.gy/zn1aiu

Мой Ютуб: https://rb.gy/88iwdd

Свяжитесь со мной в LinkedIn. Подключаемся: https://rb.gy/m5ok2y

Мой Инстаграм: https://rb.gy/gmvuy9

Мой Твиттер: https://twitter.com/Machine01776819

Если вы готовитесь к программированию/техническим интервью: https://codinginterviewsmadesimple.substack.com/

Получите бесплатный сток на Robinhood: https://join.robinhood.com/fnud75