Быстрая разработка, генерация текста и большие языковые модели

Быстрая разработка, генерация текста и большие языковые модели

Генерация текста — это мета-возможность больших языковых моделей, и оперативное проектирование — ключ к ее раскрытию. Вы не можете напрямую разговаривать с генеративной моделью, это не чат-бот. Вы не можете явно запросить генеративную модель что-то сделать. Но скорее вам нужно видение того, чего вы хотите достичь, и имитировать инициацию этого видения. Процесс имитации называется быстрым проектированием, быстрым проектированием или литьем.

TL;DR

• Генерация — одна из ключевых функций LLM, которую можно использовать множеством способов.
• Быстрая разработка — это способ представления данных, который определяет способ работы LLM с данными.

Рассматривая генерацию как один из аспектов LLM…

• LLM имеют ряд функций, которые можно использовать для выполнения многочисленных языковых задач.
• Генерация — это функция, разделяемая практически всеми LLM.
• Мало того, что можно широко использовать генерацию, используя небольшую выборку данных для обучения за несколько шагов, но и используя быструю разработку, данные могут быть приведены определенным образом, следовательно, определение того, как данные будут использоваться.

Можно утверждать, что OpenAI популяризировал малое количество выстрелов из-за того, что GPT3 был оптимизирован для этого подхода. В обучении с несколькими выстрелами используется небольшой набор примеров данных, чтобы научить модель выполнять задачи.

Подпишитесь, чтобы получать уведомления по электронной почте, когда я публикую новую статью. 🙂

Большие языковые модели (LLM)

В Интернете есть множество определений для больших языковых моделей. GPT3 от OpenAI — пожалуй, самая известная модель. Но есть и другие коммерческие модели, которые легко доступны, такие как Cohere, GooseAI, OpenAI и AI21labs.

Поколение

Создание не ограничивается только созданием сообщений и ответов бота, но может поддерживать состояние диалога бота, контекстную осведомленность и контекст сеанса. Решения с открытым исходным кодом в этой области — BLOOM и EleutherAI (теперь GooseAI).

Анатомия хорошей подсказки

Хорошо спроектированная подсказка состоит из трех компонентов…

Необходимо установить контекст, и он описывает для модели генерации цели.

данные будут использоваться моделью для обучения.

А описание продолжение указывает генеративной модели, как продолжить. Оператор продолжения используется для информирования LLM о том, как использовать контекст и данные. Его можно использовать для подведения итогов, извлечения ключевых слов или беседы с несколькими поворотами диалога.

Под подсказкой инженерные элементы:

DESCRIPTION:
* Context: The context is a description of the data or the function.
* Data: The data is the few-shot learning example the Generative model will learn from.
* Continuation Description: What are the next steps the bot should execute, this step also helps for iteration on an initial query.
EXAMPLE:
Sentence: In Cape Town a few landmarks stand out, like Table Mountain, the harbour and Lion's head.  Traveling towards Cape Point is also beautiful. 
Extract Key words from the sentence:

Вот практический пример:

Ниже LLM Bloom доступен через 🤗HuggingFace API вывода… вы можете видеть, что несколько данных обучения имеют контекст Sentence.

Затем следует контекст и последующие инструкции о том, как продолжить, в данном случае Извлечение ключевых слов из предложения.

Результаты впечатляют: ключевые слова выделены синим цветом и дополнительным бонусом в виде метки, указывающей, что с помощью неконтролируемой классификации ключевые слова могут быть классифицированы как Местоположение.

Подпишитесь, чтобы получать уведомления по электронной почте, когда я публикую новую статью. 🙂

Разговорный пример

Пример ниже представляет собой чат-бот для вопросов и ответов, контекст определяется как «Факты:», а данные сгруппированы в список фактов, относящихся к африканскому континенту. Пример продолжения описывается последовательностью вопросов и ответов.

Выделенный текст, указанный ниже, был сгенерирован.

Пресеты

OpenAI имеет довольно много пресетов, доступных для быстрого старта с точки зрения быстрого проектирования.

Окончательно

Различные LLM предъявляют очень похожие требования к оперативному проектированию, когда речь идет о моделях генерации. Два дополнительных элемента, о которых следует помнить, заключаются в том, что большинство LLM имеют выбор моделей разных размеров и с многочисленными настройками для каждой модели.

*Изображение для этой статьи было создано с помощью DALL-E OpenAI с подсказкой: Картина Ван Гога с изображением компьютера, понимающего человеческую речь, на желтом фоне

Подпишитесь, чтобы получать уведомления по электронной почте, когда я публикую новую статью. 🙂