- Модель Segment Anything (SAM) для приложений дистанционного зондирования: от нуля до одного выстрела (arXiv)
Автор: Лукас Прадо Оско, Цюшэн Ву, Эдуардо Лопес де Лемос, Уэсли Нуньес Гонсалвес, Ана Паула Маркес Рамос, Джонатан Ли, Хосе Маркато Жуниор.
Аннотация: Сегментация является важным этапом обработки изображений дистанционного зондирования. Целью данного исследования является продвижение применения модели Segment Anything Model (SAM), инновационной модели сегментации изображений от Meta AI, в области анализа изображений дистанционного зондирования. SAM известен своими исключительными возможностями обобщения и обучением с нуля, что делает его многообещающим подходом к обработке аэрофотоснимков и орбитальных изображений в различных географических контекстах. Наше исследование включало тестирование SAM на многомасштабных наборах данных с использованием различных входных подсказок, таких как ограничивающие рамки, отдельные точки и текстовые дескрипторы. Чтобы повысить производительность модели, мы внедрили новую автоматизированную технику, которая сочетает в себе общий пример, полученный из текстовой подсказки, с однократным обучением. Эта корректировка привела к повышению точности, подчеркнув потенциал SAM для использования в изображениях дистанционного зондирования и уменьшив необходимость ручного аннотирования. Несмотря на ограничения, возникающие при использовании изображений с более низким пространственным разрешением, SAM демонстрирует многообещающую адаптируемость к анализу данных дистанционного зондирования. Мы рекомендуем будущие исследования для повышения эффективности модели за счет интеграции с дополнительными методами точной настройки и другими сетями. Кроме того, мы предоставляем открытый исходный код наших модификаций в онлайн-репозиториях, поощряя дальнейшую и более широкую адаптацию ЗРК к области дистанционного зондирования.
2. Использование модели Segment Anything для оценки локализации GRAD-CAM в медицинской визуализации (arXiv)
Автор: Эван Келленер, Ихина Нат, Ан Нго, Томас Нгуен, Джошуа Шуман, Коэн Адлер, Арнав Картикея.
Аннотация: Внедрение алгоритмов карты значимости как подхода к оценке совместимости изображений позволило глубже понять современные модели черного ящика с искусственным интеллектом. Рост популярности этих алгоритмов привел к их применению во многих областях, включая медицинскую визуализацию. Поскольку задача классификации столь же важна, как и задача в медицинской сфере, возникает необходимость в тщательном тестировании их возможностей. Текущие работы исследуют возможности посредством оценки локализации карт значимости медицинских отклонений на изображении посредством сравнения с человеческими аннотациями. Мы предлагаем использовать модель Segment Anything Model (SAM) как для повышения точности таких существующих показателей, так и для обобщения, выходящего за рамки необходимости в человеческих аннотациях. Наши результаты демонстрируют как высокую степень сходства с существующими метриками, так и подчеркивают возможности этой методологии за пределами ручного аннотирования. Кроме того, мы исследуем приложения (и проблемы) SAM в медицинской сфере, включая предварительную обработку изображений перед сегментацией, предложения SAM на естественном языке в форме CLIP-SAM и точность SAM в нескольких наборах данных медицинских изображений.
