- SLOTH: структурированное обучение и оптимизация на основе задач для прогнозирования временных рядов по иерархиям (arXiv)
Автор: Фань Чжоу, Чэнь Пан, Линьтао Ма, Ю Лю, Шию Ван, Джеймс Чжан, Синьсинь Чжу, Сюаньвэй Ху, Юньхуа Ху, Янфэй Чжэн. », Лэй Лэй, Юнь Ху
Аннотация: Многомерное прогнозирование временных рядов с иерархической структурой широко используется в реальных приложениях, например, прогнозирование продаж для географической иерархии, сформированной городами, штатами и странами. Прогнозирование иерархических временных рядов (HTS) включает две подзадачи, то есть прогнозирование и согласование. В предыдущих работах иерархическая информация интегрировалась только на этапе согласования для обеспечения согласованности, но не на этапе прогнозирования для повышения точности. В этой статье мы предлагаем два новых механизма интеграции признаков на основе дерева, т. е. свертку сверху вниз и внимание снизу вверх, чтобы использовать информацию иерархической структуры для повышения эффективности прогнозирования. Более того, в отличие от большинства предыдущих методов согласования, которые либо опираются на строгие предположения, либо фокусируются только на согласованных ограничениях, мы используем сети глубокой нейронной оптимизации, которые не только обеспечивают согласованность без каких-либо предположений, но также позволяют использовать более гибкие и реалистичные ограничения для достижения целей, основанных на задачах. , например, меньший штраф за недооценку и значимые потери при принятии решений для облегчения последующих последующих задач. Эксперименты с наборами данных реального мира демонстрируют, что наш механизм интеграции признаков на основе дерева обеспечивает превосходную производительность в задачах иерархического прогнозирования по сравнению с современными методами, а наши нейронные сети оптимизации могут быть эффективно применены к задачам реального мира без каких-либо дополнительных затрат. дополнительные усилия в условиях согласованности и ограничений, связанных с задачами
2. MTS-Mixers: прогнозирование многомерных временных рядов с помощью факторизованного временного и канального микширования (arXiv)
Автор: Чжэ Ли, Чжунвэнь Рао, Луцзя Пань, Цзэнлинь Сюй.
Аннотация: Многомерное прогнозирование временных рядов широко используется в различных практических сценариях. В последнее время модели на основе Transformer продемонстрировали значительный потенциал в задачах прогнозирования благодаря захвату долгосрочных зависимостей. Однако недавние исследования в области зрения и НЛП показывают, что неясна роль модулей внимания, которые могут быть заменены другими операциями агрегации токенов. В этой статье исследуется влияние и недостатки механизмов внимания на эффективность прогнозирования временных рядов. В частности, мы обнаружили, что (1) внимание не требуется для захвата временных зависимостей, (2) запутанность и избыточность при захвате временных и канальных взаимодействий влияют на эффективность прогнозирования и (3) важно смоделировать сопоставление между ввод и последовательность предсказания. С этой целью мы предлагаем MTS-Mixers, которые используют два факторизованных модуля для захвата временных и канальных зависимостей. Экспериментальные результаты на нескольких реальных наборах данных показывают, что MTS-Mixers превосходят существующие модели на основе Transformer с более высокой эффективностью.
