Вы когда-нибудь задумывались, как отреагирует предиктор естественного языка, когда ему дадут подсказку — «ВАЛЛ-И»? Нет? Нео? Большинство из нас составляют поколение, выросшее на просмотре чутких фильмов и драм, основанных на искусственном интеллекте! Попутно мы задавались вопросом, захватит ли когда-нибудь мир ИИ. И, честно говоря, однозначного ответа нет, кроме скептического и двусмысленного мамбо-джамбо.

Машинное обучение и НЛП изменили рабочие процессы во множестве отраслей. Большинство рассматривают ИИ как повышение эффективности человека, хотя и угрозу автономии человека. Однако нет никаких сомнений в том, что последствия практически безграничны.

Одним из таких вариантов использования этих алгоритмов является создание блогов или любой другой формы контента в этом отношении. GPT, одна из инноваций OpenAI, предприятия, совладельцем которого является Маск, добилась значительных успехов в этой области.

Что такое GPT3

OpenAI — это компания, занимающаяся исследованиями и внедрением ИИ, которая стремится использовать возможности ML и NLP в рабочих процессах. GPT3 — это языковая модель нейронной сети третьего поколения, которая создает текстовый контент для различных форматов контента. Небольшой объем входного текста подается в модель для получения фрагментов требуемого контента.

Натана Бенайча, бывшего исследователя-генетика, ставшего венчурным инвестором AI, спросили, какое место GPT3 занимает в отношении генерации текстов на основе его эффективности и вариантов использования. Его ответ был довольно прямолинейным и точным, чего и следовало ожидать от любого (предполагаемого) критика машинного обучения —

«У них никогда не будет чувства юмора. Они никогда не смогут оценить искусство, красоту или любовь. Они никогда не будут чувствовать себя одинокими. У них никогда не будет сочувствия к другим людям, животным или окружающей среде. Они никогда не получат удовольствия от музыки, не влюбятся и не заплачут по первому зову».

Но ждать! Что, если мы скажем вам, что этот самый ответ не был ответом эксперта? Вместо этого это был текст, сгенерированный самой GPT3. Фрагмент текста был ответом на подсказку: «Несколько слов, выражающих скептицизм по поводу ИИ».

OpenAI разрабатывает алгоритмы на основе ИИ для общих случаев использования, доступных сообществу через API, и GPT ничем не отличается. Генеративные предварительно обученные модели предназначались для ответов на вопросы, суммирования огромных текстовых данных и создания фрагментов текста среди других вариантов использования.

Обычная демонстрация мастерства, которым хвастается GPT3, когда дело доходит до автоматической генерации текстов с высокой точностью и контекстными данными, может быть выведена из этой статьи о GPT3, фрагмента текста, сгенерированного самим GPT3. Были случаи, когда GPT3 создавал генераторы макетов, где модель NLP создавала код JSX для любого заданного макета.

Работает

GPT3 — это модель предсказания языка, которая работает через обработку естественного языка. Проще говоря, он принимает небольшое количество входного текста и генерирует необходимый вывод и соответствующий текстовый формат. Как и другие модели машинного обучения, GPT3 обучается с использованием более 175 ГБ текста для распознавания шаблонов и семантической индексации, что является самым высоким показателем для любого генератора контента на основе NLP.

Что отличает GPT3 от конкурентов, так это тот факт, что его не нужно обучать с помощью дополнительного (помеченного) текста для прогнозирования или создания фрагмента контента, а только подсказку. 'Почему ты спрашиваешь? Ну, во-первых, данные, на которых обучается GPT3, огромны, и одного этого должно быть достаточно для части создания контента. Во-вторых, GPT3 считается крупнейшей когда-либо созданной нейронной сетью. Чтобы представить это в перспективе, давайте обсудим несколько терминов, относящихся к НЛП.

Трансформеры: Трансформеры — это модели нейронных сетей, созданные специально для решения проблем машинного перевода. Они избавляют модель предсказания языка от сверток и повторений.

Языковые модели. Языковые модели — это еще одна форма авангардных вероятностных моделей, которые предсказывают следующее слово в последовательности на основе предыдущего слова. Они помогают генератору текста поддерживать непрерывность предложений и фраз.

Генеративные модели: их основной задачей является создание данных на основе контекстной информации без необходимости дублировать существующие данные. Таким образом, генеративные модели отвечают за «перефразирование» существующих данных во избежание дублирования.

Полууправляемое обучение: эта парадигма обучения объединяет плюсы как контролируемого, так и неконтролируемого обучения модели языкового прогнозирования. Это означает, что модель обучается с использованием как размеченных, так и неразмеченных данных. Это не только делает модель эффективной при распознавании закономерностей, но также помогает модели учиться на уже существующих наборах данных.

Обучение с нулевым выстрелом: это еще одна современная парадигма обучения, которая передает данные испытаний модели без обновления веса. Это означает, что модель обучается на данных из классов, отличных от рассматриваемых. Например, модель, обученная распознавать изображения кошек, получает изображение собаки.

И GPT2, и GPT3 продемонстрировали многообещающие результаты при подаче неклассифицированных данных, а при многократном обучении они могут получать более одного класса неклассифицированных данных. Идея состоит в том, что модель, достаточно эффективная и обладающая достаточной вычислительной мощностью, превзойдет своих конкурентов при использовании несекретных данных.

Различные модели языкового прогнозирования использовали одну или несколько из них для создания текстовых фрагментов различных форм. Причина, по которой GPT3 превосходит своих конкурентов, включая модель Microsoft Turing NLG, заключается в том, что она использует все эти модели. Грубо говоря, разные модели дополняют друг друга, создавая лучшую из известных нам сегодня моделей прогнозирования языка.

Конкуренты

Хотя модели Language Prediction довольно новы, в этой нише есть конкуренция. Модель Turing NLG от Microsoft и DeepMind от Google внимательно следили за ней. И хотя они не очень близки к тому, на что способно детище OpenAI, их алгоритмы довольно часто переделываются, чтобы стать лучше.

Недавно Microsoft представила модель генерации естественного языка Тьюринга на базе DeepSeed и Megatron. Нейронная сеть предсказания языка была обучена на 570 миллиардах параметров. Беспрецедентное количество параметров помогает MT-NLG функционировать с непревзойденной точностью в прогнозировании завершения, понимании прочитанного и других схемах прогнозирования языка.

Материнская компания Google, Alphabet, добилась успехов с собственной языковой моделью DeepMind, Gopher. Языковая модель в настоящее время проверяет гигантские 280 миллиардов параметров. Хотя некоторые считают, что Gopher может превзойти OpenAI GPT3, его ограниченный охват и ответ от первого лица при подаче диалоговых вопросов намекают на обратное.

Возможности GPT3

Мастерство GPT3 намного превосходит его конкурентов. Языковая модель может генерировать коды веб-сайтов в таких средах, как React, вплоть до описания веб-сайта. Блоги и другие элементы контента одинаково легко генерируются моделью, как короткие, так и полные. Считается, что модель создала оригинальные стихи, воссоздала произведение Шекспира и добавила сарказма в его содержание.

GPT3 может даже заменить бухгалтеров и работать так же хорошо, если не лучше, чем человеческие аналоги. Поскольку модель специализируется на генерации текстовых данных путем сбора, обобщения и оценки поступающих данных, бухгалтерский учет, вероятно, является одной из тех ниш, в которых GPT3 может преуспеть.

Смещение данных

Несмотря на все преимущества GPT3 и бесчисленное количество вариантов его использования, одной из проблем, от которой страдает GPT3, является информационная предвзятость. Независимо от вычислительной мощности или сложности его алгоритмов, суть всегда будет заключаться в том, что такая модель, как GPT, которая питается от уже существующих данных, будет страдать от смещения данных. А если данные необъективны, то и результат тоже.

Почти нет места, свободного от предубеждений, будь то предыстория американцев и их пренебрежительное отношение к чернокожим или пренебрежительное отношение нацистской Германии к евреям. Когда эти данные передаются в модель НЛП, она имеет тенденцию имитировать любые характеристики, определяющие данные, включая ненависть или предвзятость.

Несмотря на мощную модель, это относится не только к GPT3. Почти каждая модель языкового прогнозирования обязана имитировать любые свойства, содержащиеся в передаваемых ей данных.

Примечания

Когда Microsoft впервые выпустила своего чат-бота Tay в 2016 году, он демонстрировал признаки расизма и сексизма, чего нельзя было ожидать от бота. Однако OpenAI быстро исправила недостатки своего НЛП и предприняла шаги к их устранению.

Критики НЛП, несмотря на недостатки, в восторге от трюков, которые у модели языкового прогнозирования есть в рукаве. Большинство говорит, что GPT3 «вероятно вызовет улучшения» в задачах, которые может выполнять НЛП.

В последнее время шквал рекламы онлайн-курсов, претендующих на то, чтобы сделать из ребенка гения программирования, привел к росту индустрии EdTech. Тем не менее, отраслевые эксперты считают, что языковая модель сделает такие навыки устаревшими в долгосрочной перспективе, задолго до того, как их карьера начнется.

Будущее GPT

Поскольку конкуренты добиваются успехов в плане количества параметров и вычислительной мощности, OpenAI ни за что не устоит. GPT4, капитальный ремонт GPT3, уже находится в стадии разработки, чтобы дебютировать к началу 2023 года или даже раньше, и ожидается, что он будет охватывать около 100 триллионов параметров, что примерно в 500 раз больше, чем у предшественника.

Какой бы колоссальной ни была нейросеть, GPT4 должен будет качественно обогнать своих предшественников и конкурентов практически во всех отношениях. Хотя в отчетах также говорится, что GPT4 вместо того, чтобы принимать больше параметров, будет использовать больше вычислительной мощности, судьбу GPT нельзя с уверенностью комментировать. Одна вещь, однако, является определяющей, это то, что это будет намного лучше, чем то, что OpenAI может предложить сейчас.