- Точная диффузия подпространства для децентрализованного многозадачного обучения (arXiv)
Автор: Шрея Вадехра, Рула Нассиф, Стефан Власки.
Аннотация: Классические парадигмы распределенного обучения, такие как федеративный или децентрализованный градиентный спуск, используют механизмы консенсуса для обеспечения однородности среди агентов. Хотя эти стратегии доказали свою эффективность в i.i.d. сценариях они могут привести к значительному снижению производительности, когда агенты следуют разнородным целям или данным. Распределенные стратегии многозадачного обучения, с другой стороны, создают более тонкие отношения между агентами и поощряют сотрудничество без обеспечения консенсуса. Мы разрабатываем обобщение точного алгоритма диффузии для многозадачного обучения с ограничениями подпространства в сетях и получаем точное выражение для его среднеквадратического отклонения при использовании аппроксимаций шумного градиента. Мы проверяем численно точность прогнозируемых выражений производительности, а также улучшенную производительность предлагаемого подхода по сравнению с альтернативами, основанными на приблизительных прогнозах.
2.LIGHT: Совместное извлечение отдельных зданий и оценка высоты по спутниковым изображениям с помощью единой многозадачной сети обучения (arXiv)
Автор: Юнцян Мао, Сянь Сунь, Синлян Хуан, Кайцян Чэнь.
Аннотация: Извлечение зданий и оценка высоты являются двумя важными базовыми задачами в интерпретации изображений дистанционного зондирования, которые широко используются в городском планировании, реальном 3D-строительстве и других областях. Большинство существующих исследований рассматривают эти две задачи как независимые исследования. Поэтому информацию о высоте нельзя полностью использовать для повышения точности извлечения здания и наоборот. В этой работе мы впервые объединяем извлечение отдельных зданий и оценку высоты с помощью единой многозадачной обучающей сети (LIGHT), которая одновременно выводит карту высот, ограничивающие рамки и карту маски сегментации зданий. В частности, LIGHT состоит из ветви сегментации экземпляра и ветви оценки высоты. В частности, чтобы эффективно унифицировать многомасштабные ветки функций и уменьшить разброс функций между ветвями, мы предлагаем модуль Gated Cross Task Interaction (GCTI), который может эффективно выполнять взаимодействие функций между ветвями. Эксперименты с набором данных DFC2023 показывают, что наш LIGHT может достичь превосходной производительности, а наш модуль GCTI с ResNet101 в качестве основы может значительно улучшить производительность многозадачного обучения на 2,8% AP50 и 6,5% delta1 соответственно.
