- Мультимодальное контрастное обучение для диагностики сердечно-сосудистых заболеваний по сигналам электрокардиографии (ЭКГ) и метаданным пациента (arXiv)
Автор: Мультимодальное контрастивное обучение для диагностики сердечно-сосудистых заболеваний по сигналам электрокардиографии (ЭКГ) и метаданным пациента.
Аннотация: В этой работе обсуждается использование контрастного обучения и глубокого обучения для диагностики сердечно-сосудистых заболеваний по сигналам электрокардиографии (ЭКГ). В то время как сигналы ЭКГ обычно содержат 12 отведений (каналов), многие медицинские учреждения и устройства не имеют доступа ко всем этим 12 отведениям. Это поднимает вопрос о том, как использовать меньшее количество отведений ЭКГ для постановки значимого диагноза с высокой эффективностью. Мы проводим простой эксперимент, чтобы проверить, можно ли применить к этой задаче контрастное обучение. В частности, мы добавили сходство между векторами вложения, когда сигнал 12 отведений и сигнал ЭКГ с меньшим количеством отведений к функции потерь, чтобы сблизить эти представления. Несмотря на свою простоту, было показано, что это улучшило эффективность диагностики со всеми комбинациями отведений, доказав потенциал контрастного обучения в этой задаче.
2.MMANet: дистилляция с учетом маржи и регуляризация с учетом модальности для неполного мультимодального обучения (arXiv)
Автор: Shicai Wei, Yang Luo, Chunbo Luo.
Аннотация: мультимодальное обучение продемонстрировало большой потенциал во многих сферах и в последнее время вызывает все больший интерес. Однако он часто сталкивается с проблемой отсутствия данных модальности и, таким образом, на практике страдает от серьезного снижения производительности. С этой целью мы предлагаем общую структуру под названием MMANet, чтобы помочь неполному мультимодальному обучению. Он состоит из трех компонентов: сети развертывания, используемой для вывода, сети учителей, передающей исчерпывающую мультимодальную информацию в сеть развертывания, и сети регуляризации, направляющей сеть развертывания для балансировки слабых комбинаций модальностей. В частности, мы предлагаем новую дистилляцию с учетом поля (MAD), чтобы помочь передаче информации путем взвешивания вклада выборки в классификационную неопределенность. Это побуждает сеть развертывания сосредоточиться на образцах, близких к границам принятия решений, и получить уточненный запас между классами. Кроме того, мы разрабатываем алгоритм регуляризации с учетом модальности (MAR) для анализа слабых комбинаций модальностей и направляем сеть регуляризации для расчета потерь прогнозирования для них. Это вынуждает сеть развертывания адаптивно улучшать свою способность представления для комбинаций слабых модальностей. Наконец, обширные эксперименты по мультимодальной классификации и задачам сегментации показывают, что наша MMANet значительно превосходит современные. Код доступен по адресу: https://github.com/shicaiwei123/MMANet
