- Может ли децентрализованное обучение быть более надежным, чем федеративное обучение? (arXiv)
Автор: Матильда Рейналь, Дарио Пасквини, Кармела Тронкосо.
Аннотация: Децентрализованное обучение (DL) — это подход к взаимному обучению, который позволяет группе пользователей совместно обучать модель машинного обучения. Для обеспечения корректности DL должен быть надежным, то есть византийские пользователи не должны иметь возможности вмешиваться в результат совместной работы. В этой статье мы представляем две \textit{новые} атаки на DL, с помощью которых византийский пользователь может: заставить сеть сходиться к произвольной модели по своему выбору и исключить произвольного пользователя из процесса обучения. Мы демонстрируем эффективность наших атак против Self-Centered Clipping, современного надежного протокола DL. Наконец, мы показываем, что возможности, предоставляемые децентрализацией византийским пользователям, приводят к тому, что децентрализованное обучение \emph{всегда} обеспечивает меньшую надежность, чем федеративное обучение.
2. MoDeST: преодоление разрыва между федеративным и децентрализованным обучением с помощью децентрализованной выборки (arXiv)
Автор: Мартейн де Вос, Акаш Дхасаде, Анн-Мари Кермаррек, Эрик Лавуа, Йохан Пувелс.
Аннотация: Федеративное и децентрализованное машинное обучение использует устройства конечных пользователей для обучения моделей с сохранением конфиденциальности при более низких эксплуатационных расходах, чем в центре обработки данных. В раунде федеративного обучения (FL) случайная выборка участников обучается локально, затем центральный сервер объединяет локальные модели, чтобы создать единую модель для следующего раунда. В раунде децентрализованного обучения (DL) все участники тренируются локально, а затем объединяются со своими непосредственными соседями, в результате чего возникает множество локальных моделей с остаточными различиями между ними. С одной стороны, выборка FL и более низкая дисперсия модели обеспечивают более низкие затраты на связь и более быструю сходимость. С другой стороны, DL устраняет необходимость в центральном сервере и более равномерно распределяет затраты на связь между узлами, хотя и при более высоких общих затратах на связь и более медленной конвергенции. В этой статье мы представляем MoDeST: в основном последовательное децентрализованное обучение выборке. MoDeST реализует децентрализованную выборку, в которой случайное подмножество узлов отвечает за обучение и агрегацию в каждом раунде: это обеспечивает преимущества как FL, так и DL без их традиционных недостатков. Наша оценка MoDeST по четырем общим задачам обучения: (i) подтверждает конвергенцию так же быстро, как FL, (ii) показывает снижение затрат на связь в 3-14 раз по сравнению с DL и (iii) демонстрирует, что MoDeST быстро адаптируется к присоединению узлов, оставляя или сбой, даже если 80% всех узлов перестают отвечать
