Что такое набор данных CoQA?
CoQA - это ответ на разговорный вопрос, он был выпущен пару дней назад Стэнфордской группой НЛП. Обычно я не пишу объемные статьи, но когда я увидел это в моем твиттере, мне просто пришлось, особенно с учетом моего прошлого интереса к созданию приложения для создания вопросов.
Наборы данных с ответами на вопросы являются неотъемлемой частью любой задачи понимания НЛП, позволяя модели подвергаться воздействию широкого и разнообразного спектра языковых и семантических явлений. Следовательно, выбранный вами набор данных играет решающую роль в том, насколько хорошо работает ваша модель.
Набор данных CoQA (произносится как coca) отличается от другого набора данных Стэнфордского университета SQuAD несколькими способами.
Во-первых, набор данных SQuAD не диалоговый, его ответы извлекающие. Это означает, что ответ берется непосредственно (подумайте, скопируйте и вставьте) из данного отрывка, в отличие от абстрактного понятия, которое понимается и переводится в ответ. Ответы CoQA, с другой стороны, абстрактны и имеют экстрактивное обоснование; это означает, что машина может выделить свое обоснование из отрывка к своему ответу (к вашему сведению, его обоснование может охватывать несколько предложений). Не волнуйтесь, если вы этого не совсем понимаете, позже я приведу пример, который поможет вам разобраться в этом.
Прежде чем я продолжу, вот краткое замечание о том, почему абстрактные наборы данных предпочтительнее экстрактивных. Резюме (или понимание) не могут включать слова, которые не были частью исходного текста. Следовательно, они ограничены как по объему своей сложности, так и по идеям, которые они могут представлять. С другой стороны, абстрактные резюме не имеют ни одного из этих недостатков и позволяют модели использовать гораздо более широкий набор слов и понятий. Следовательно, модель, способная к абстрактным рассуждениям, считается лучше чисто экстрактивной. Если вам интересно, эта ветка на Quora исследует эту тему более подробно.
Другое отличие состоит в том, что он также содержит вопросы, на которые невозможно ответить, что позволяет модели учиться, когда информации для ответа просто недостаточно. Способность модели сказать «на это невозможно ответить» полезна с точки зрения UX. Вместо того, чтобы модель заставляла себя выбрасывать мусор низкого качества, она может просто распознать, что информации недостаточно, и сообщить об этом пользователю, тем самым обеспечивая высокое качество обслуживания.
Прежде чем мы подведем итоги, давайте взглянем на несколько примеров:
Как видите, каждый ответ не является извлекающим, но содержит извлекающее обоснование. Например, возьмем последний вопрос на картинке. Он спрашивает, какой из двух кандидатов побеждает, и вы видите, что ответ - «Терри МакОлифф». Если вы посмотрите на сам отрывок, в нем никогда не говорится, кто из них выигрывает в этих словах (то есть в слове «выигрыш»), но на него можно ответить с помощью модели, которая понимает абстрактную концепцию Терри лидирующая позиция из приведенного обоснования предложения.
Этот набор данных, похоже, произведет большой фурор в сфере НЛП. Если судить по набору данных SQuAD, то решения, которые предлагает сообщество глубокого обучения, будут захватывающими !!
Https://arxiv.org/abs/1808.07042
Если вам понравилась эта статья, обязательно подпишитесь на нашу публикацию !! Ознакомьтесь с некоторыми из наших других рецензий:
