- Использование локальности в абстрактном обобщении текста(arXiv)
Автор:Исинь Лю, Ансон Ни, Линьонг Нан, Будхадитья Деб, Чэнгуан Чжу, Ахмед Х. Авадаллах, Драгомир Радев
Вывод:модели нейронного внимания значительно улучшили многие задачи обработки естественного языка. Однако квадратичная сложность памяти модуля внутреннего внимания по отношению к длине входных данных препятствует их применению при обобщении длинных текстов. Вместо разработки более эффективных модулей внимания мы подходим к этой проблеме, исследуя, могут ли модели с ограниченным контекстом иметь конкурентоспособную производительность по сравнению с моделями внимания с эффективным использованием памяти, которые поддерживают глобальный контекст, обрабатывая ввод как единую последовательность. Наша модель применяется к отдельным страницам, которые содержат части входных данных, сгруппированных по принципу локальности как при кодировании, так и при декодировании. Мы эмпирически исследовали три вида локальности при обобщении текста на разных уровнях детализации, начиная от предложений и заканчивая документами. Наши экспериментальные результаты показывают, что наша модель имеет лучшую производительность по сравнению с сильными базовыми показателями с эффективными модулями внимания, и наш анализ дает дополнительное представление о нашей стратегии моделирования с учетом местности.
2.MaskEval: взвешенная оценка на основе MLM для суммирования и упрощения текста(arXiv)
Автор: Ю Лу Лю, Рэйчел Боуден, Томас Шиалом, Бенуа Саго, Джеки Чи Кит Чунг
Аннотация. При обобщении и упрощении текста выходные данные системы должны оцениваться по нескольким параметрам, таким как релевантность, фактическая согласованность, беглость и грамматика, и широкий диапазон возможных результатов может быть высокого качества. Эти свойства делают разработку адаптируемой, безотносительной оценочной метрики необходимой и сложной задачей. Мы представляем MaskEval, безссылочную метрику для суммирования и упрощения текста, которая работает путем моделирования маскированного языка (MLM) при объединении текста-кандидата и исходного текста. Он имеет механизм взвешивания, похожий на внимание, для модуляции относительной важности каждого шага MLM, что в решающей степени позволяет адаптировать его для оценки различных параметров качества. Мы демонстрируем его эффективность при обобщении и упрощении английского языка с точки зрения корреляции с человеческими суждениями и исследуем сценарии переноса между двумя задачами.
