Большое обещание трансформации бизнеса с помощью глубокого обучения может рухнуть.

Эта статья является первой из трех. Вот 2 и 3.

Искусственный интеллект, машинное обучение… любой, кто читал это, вероятно, слышал эти термины. Как минимум, вы получаете базовую концепцию - более умные машины.

Машинный интеллект изменит все

Вы можете не осознавать, в какой степени машинный интеллект трансформирует бизнес-ландшафт во всех отраслях до такой степени, что через 15 лет он становится едва узнаваемым. Столкновения между компаниями, основанными на искусственном интеллекте, и традиционными фирмами уже происходят в разных отраслях - если вы хотя бы не составляете план игры, то вскоре можете оказаться в стороне.

Но положительная сторона этого массового сбоя в том, что он обещает создать беспрецедентную ценность, «увеличивая пирог» способами, которых мы никогда не видели. Если оставить в стороне, насколько критичным будет элегантное управление социально-экономическими последствиями этого нового мира - совершенно ясно, что он наступает, это следующая большая вещь, и она все изменит.

ARK Invest, компания по управлению инвестициями, специализирующаяся на инновациях, прогнозирует, что Deep Learning - самый умный передовой рубеж машинного обучения - к 2037 году принесет 30 триллионов долларов . Стоит уделить время этой цифре - DL принесет больше пользы, чем Интернет и все другие информационные технологии когда-либо создавали.

Производительность обработки критически важна для DL

ARK утверждает, что для поддержки этого видения средняя стоимость обучения модели DL вырастет с 1 миллиона долларов до 100 миллионов долларов на проект, и большая часть этих расходов будет приходиться на вычислительное оборудование, которое будет выполнять тяжелую работу. - увеличение расходов более чем в 4 раза в течение следующих пяти лет, с 5 миллиардов долларов в год сегодня до 22 миллиардов долларов в 2025 году.

Аппаратное обеспечение обработки данных, управляющее DL сегодня, представляет собой особую конструкцию микросхемы, называемую графическим процессором.

Краткий обзор графических процессоров

В то время как ЦП (центральный процессор) в компьютере похож на швейцарский армейский нож, с радостью переключающийся между различными типами задач, графический процессор - это совершенно другой дизайн микросхемы, который больше похож на чрезвычайно параллельный набор мачете - он подходит только для определенных видов задач, но справляется с ними очень быстро и очень хорошо.

Графические процессоры (графические процессоры) появились потому, что огромный объем параллельных вычислений, необходимых для обработки и отображения все более сложной компьютерной графики (например, более плавных и более реалистичных видеоигр), утомлял центральные процессоры - трудно вытащить штопор, чтобы открыть эту бутылку вина. когда тебе приходится разрезать кокосы этим крошечным лезвием.

Помимо графики

Буква G в названии графического процессора стала немного неправильной. Оказывается, графические процессоры также отлично справляются со всеми видами высокопроизводительных вычислений (HPC), лежащих в основе новых технологий, таких как виртуальная / дополненная реальность, Edge Acceleration, лежащий в основе Интернета вещей, и, что наиболее важно, глубокое обучение, способствующее росту как NVIDIA (ведущего производителя графических процессоров и уже 18-го места в мире), так и прогнозируемого годового роста на 34% всего рынка графических процессоров. по крайней мере, следующие пять лет.

Если добавить к и без того горячему рынку высокие ожидания новой экономики, основанной на DL, становится ясно, что спрос на графические процессоры будет продолжать резко расти, но давайте посмотрим, откуда должно появиться все это потрясающее оборудование.

Рост предложения графических процессоров далеко не гарантирован

Закон Мура официально мертв - каждое продвижение в дизайне микросхем требует больше времени и экспоненциально увеличивающихся капиталовложений, а затраты на прирост производительности каждого нового поколения движутся в неправильном направлении. Жестокая экономия на масштабе привела к ошеломляющему сужению области передовых заводов по производству чипов (фактических фабрик, где физически производятся чипы) от более чем 25 производителей в 2000 г. до только двух - TSMC (10-е место в мире) и Samsung (12-е место).

Пока я пишу это, нехватка микросхем закрывает автомобильные заводы - эта экстремальная консолидация поставщиков, пандемия и экстремальные погодные явления - все это играет роль в нарушении цепочки поставок. Конкуренция за чипы уже ожесточенная, и стоит только обратить внимание на новости, чтобы представить себе, что такие сбои будут становиться все более частыми.

Надвигающийся дефицит

Так что, с одной стороны, у нас есть прогнозы резкого увеличения спроса на GPU. С другой стороны, у нас есть ограничения асимптотических законов физики и экономические (не говоря уже о геополитических) реалиях очень небольшого числа поставщиков, управляющих горсткой заводов. GPU уже является премиальным ресурсом, который может затруднить усилия компаний по созданию ценности для бизнеса, и наши ожидания от него быстро растут - по-видимому, быстрее, чем мы можем его построить.

Похоже, что следующий большой шаг для мировой экономики находится под реальным риском провала запуска или, по крайней мере, значительного затягивания из-за отсутствия этого драгоценного фундаментального ресурса. Что надо сделать? Мы могли бы обратиться к истории за некоторыми указаниями, а именно к нефтяным кризисам 1970-х годов, когда нехватка еще одного ценного фундаментального ресурса заставила нас сосредоточиться на повышении эффективности.

Использование графического процессора очень неэффективно

Трудно найти точные цифры - поиск в Google таких вещей, как примерный процент использования графического процессора во всем мире в режиме ожидания, на удивление разочаровывает - но один взгляд на использование графического процессора для DL предполагает, что он значительно ниже 50% во время тренировочных прогонов DL, не говоря уже о том, что графические процессоры ничего не делают, когда их никто не использует.

С качественной точки зрения вполне логично, что сегодняшнее использование GPU в целом неэффективно. Основная проблема заключается в том, что приложения DL на базе ЦП тесно связаны с графическими процессорами, которые их питают. Графический процессор на любой конкретной машине должен иметь возможность обрабатывать пиковые нагрузки из своего пространства ЦП и приложений, чтобы обеспечить бесперебойную работу. Но пиковая нагрузка по определению выше, чем обычно, поэтому при работе ниже пиковой нагрузки графический процессор не используется. Рабочие нагрузки обычно очень резкие, с прерывистой высокой загрузкой для любой конкретной работы, прерывающей более длительные периоды гораздо более низкой загрузки.

При идеальном «идеальном использовании» каждый графический процессор на планете будет постоянно работать на 100%. Моя безумная (только в том смысле, что полоса ошибок высока - число, вероятно, консервативное) предполагаю, что средняя фактическая загрузка ниже 40% (Правка: в целом считается, что она составляет <15%!) .

Мы можем сделать намного больше, используя уже имеющийся у нас графический процессор

GPU - это ценный ресурс, который тратится зря - рынки ненавидят это - и его вычислительная мощность будет только возрастать по мере того, как новый мир глубокого обучения станет реальностью. Расточительная неэффективность приветствует разрушительные пошаговые изменения, и (как и во многих других случаях) программное обеспечение может это обеспечить.

В моем следующем посте (теперь здесь) я исследую некоторые причины, по которым использование графического процессора так неэффективно, а также модель для улучшения с помощью инновационного программного обеспечения.

Стив Голик - соучредитель Juice Labs, стартапа, стремящегося сделать поток вычислительной мощности таким же простым, как электричество.