- FDAPT: федеративное доменно-адаптивное предварительное обучение для языковых моделей (arXiv)
Автор: Лекан Цзян, Филип Свобода, Николас Д. Лейн.
Аннотация: Сочетание предметно-адаптивного предварительного обучения (DAPT) с федеративным обучением (FL) может улучшить адаптацию модели за счет использования более конфиденциальных и распределенных данных при сохранении конфиденциальности данных. Однако мало исследований посвящено этому методу. Поэтому мы проводим первое всестороннее эмпирическое исследование для оценки производительности федеративного доменно-адаптивного предварительного обучения (FDAPT). Мы демонстрируем, что FDAPT может поддерживать конкурентоспособную производительность последующих задач по сравнению с централизованным базовым уровнем как в ситуациях IID, так и без IID. Кроме того, мы предлагаем новый алгоритм, Frozen Federated Domain-adaptive Pre-training (FFDAPT). FFDAPT повышает эффективность вычислений в среднем на 12,1% и демонстрирует производительность последующих задач, аналогичную стандартной FDAPT, при этом общие колебания производительности остаются менее 1%. Наконец, путем критической оценки нашей работы мы определяем перспективные направления будущих исследований в этой новой области исследований.
2. Борьба с фейковыми новостями на бенгальском языке: анализ влияния суммирования и дополнения на предварительно обученные языковые модели (arXiv)
Автор: Арман Сакиф Чоудхури, Дж. М. Шахариар, Ахаммед Тарик Азиз, Сайед Мохибул Алам, Мд. Азад Шейх, Танвир Ахмед Белал
Аннотация: С появлением социальных сетей и онлайн-источников новостей фейковые новости стали серьезной проблемой во всем мире. Однако обнаружению поддельных новостей на языках с низким уровнем ресурсов, таких как бенгальский, в исследованиях уделялось ограниченное внимание. В этой статье мы предлагаем методологию, состоящую из четырех различных подходов к классификации поддельных новостных статей на бенгальском языке с использованием методов обобщения и дополнения с пятью предварительно обученными языковыми моделями. Наш подход включает в себя перевод новостных статей на английский язык и использование методов дополнений для ограничения дефицита поддельных новостных статей. Наше исследование также было сосредоточено на обобщении новостей, касающихся ограничения длины токена в моделях на основе BERT. Благодаря обширным экспериментам и тщательной оценке мы показываем эффективность обобщения и дополнения в случае обнаружения бенгальских фальшивых новостей. Мы оценили наши модели, используя три отдельных набора тестовых данных. Базовая модель BanglaBERT в сочетании с методами аугментации достигла впечатляющей точности 96% на первом тестовом наборе данных. Во втором тестовом наборе данных модель BanglaBERT, обученная с помощью обобщенных дополненных новостных статей, достигла точности 97%. Наконец, базовая модель mBERT достигла точности 86% в третьем тестовом наборе данных, который был зарезервирован для оценки производительности обобщения. Наборы данных и реализации доступны по адресу https://github.com/arman-sakif/Bengali-Fake-News-Detection.
