- Иерархическая совместная настройка гиперпараметров (arXiv)
Автор: Ахмад Эсмаили, Захра Горрати, Эрик Мэтсон
Аннотация. Настройка гиперпараметров является одним из наиболее важных этапов создания решений для машинного обучения. В этой статье показано, как можно использовать многоагентные системы для разработки распределенного метода определения почти оптимальных значений для любого произвольного набора гиперпараметров в модели машинного обучения. Предлагаемый метод использует распределенную иерархическую агентную архитектуру для совместной процедуры поиска для настройки значений гиперпараметров. Представленная общая модель используется для разработки метода управляемой рандомизированной агентной настройки, и ее поведение исследуется как в приложениях машинного обучения, так и в приложениях глобальной оптимизации функций. Согласно эмпирическим результатам, предложенная модель превзошла обе лежащие в ее основе рандомизированные стратегии настройки с точки зрения ошибки классификации и оценки функции, особенно в большем количестве измерений.
2. Оптимизация гиперпараметров с помощью обрезки нейронной сети (arXiv)
Автор: Kangil Lee, Junho Yim
Вывод: поскольку модель глубокого обучения сильно зависит от гиперпараметров, оптимизация гиперпараметров необходима при разработке приложений на основе моделей глубокого обучения, даже если это занимает много времени. Поскольку разработка сервисов с использованием моделей глубокого обучения постепенно становится конкурентоспособной, многие разработчики остро нуждаются в алгоритмах быстрой оптимизации гиперпараметров. Чтобы идти в ногу с потребностями более быстрых алгоритмов оптимизации гиперпараметров, исследователи сосредоточены на повышении скорости алгоритма оптимизации гиперпараметров. Однако огромные затраты времени на оптимизацию гиперпараметров из-за высокой вычислительной стоимости самой модели глубокого обучения не рассматривались подробно. Как и при использовании суррогатной модели в байесовской оптимизации, для решения этой проблемы необходимо рассмотреть прокси-модель для нейронной сети (N_B), которая будет использоваться для оптимизации гиперпараметров. Вдохновленные основной целью сокращения нейронной сети, т. е. высоким снижением вычислительных затрат и сохранением производительности, мы предположили, что нейронная сеть (N_P), полученная в результате сокращения нейронной сети, будет хорошей прокси-моделью N_B. Чтобы проверить нашу идею, мы провели обширные эксперименты с использованием наборов данных CIFAR10, CFIAR100 и TinyImageNet, а также трех широко используемых нейронных сетей и трех репрезентативных методов оптимизации гиперпараметров. С помощью этих экспериментов мы убедились, что N_P может быть хорошей прокси-моделью N_B для быстрой оптимизации гиперпараметров. Предлагаемая структура оптимизации гиперпараметров может сократить время до 37%.
3. Оптимизация гиперпараметров гибридных квантовых нейронных сетей для классификации автомобилей (arXiv)
Автор:Асель Сагингалиева, Андрей Куркин, Артем Мельников, Даниил Кухмистров, Михаил Перельштейн, Алексей Мельников, Андреа Сколик, Давид фон Доллен
Аннотация . Распознавание изображений — одно из основных применений алгоритмов машинного обучения. Тем не менее модели машинного обучения, используемые в современных системах распознавания изображений, состоят из миллионов параметров, настройка которых обычно требует значительного вычислительного времени. Более того, корректировка гиперпараметров модели приводит к дополнительным накладным расходам. Из-за этого требуются новые разработки в моделях машинного обучения и методах оптимизации гиперпараметров. В этой статье представлена квантовая техника оптимизации гиперпараметров и гибридная квантово-классическая модель машинного обучения для обучения с учителем. Мы сравниваем наш метод оптимизации гиперпараметров со стандартными целевыми функциями черного ящика и наблюдаем улучшения производительности в виде сокращения ожидаемого времени выполнения и пригодности в ответ на рост размера пространства поиска. Мы тестируем наши подходы в задаче классификации изображений автомобилей и демонстрируем полномасштабную реализацию модели гибридной квантовой нейронной сети с оптимизацией гиперпараметров тензорного поезда. Наши тесты показывают качественное и количественное преимущество по сравнению с соответствующим стандартным классическим подходом поиска по табличной сетке, используемым с глубокой нейронной сетью ResNet34. Точность классификации 0,97 была получена гибридной моделью после 18 итераций, тогда как классическая модель достигла точности 0,92 после 75 итераций.
4. Трехмерные сверточные нейронные сети для сегментации дендритов с использованием тонкой настройки и оптимизации гиперпараметров (arXiv)
Автор: Джим Джеймс, Натан Прюйне, Тибериу Стэн, Маркус Швартинг, Дживон Ём, Сынбум Хон, Питер Вурхиз, Бен Блайзик, Ян Фостер
Аннотация: Дендритные микроструктуры широко распространены в природе и являются основными морфологиями затвердевания металлических материалов. Такие методы, как рентгеновская компьютерная томография (XCT), позволили по-новому взглянуть на явления фазового превращения дендритов. Однако ручная идентификация дендритной морфологии в данных микроскопии может быть как трудоемкой, так и потенциально неоднозначной. Анализ наборов 3D-данных особенно сложен из-за их больших размеров (терабайты) и наличия артефактов, разбросанных по отображаемым объемам. В этом исследовании мы обучили трехмерные сверточные нейронные сети (CNN) сегментировать наборы трехмерных данных. Были исследованы три архитектуры CNN, включая новую 3D-версию FCDense. Мы показываем, что с помощью оптимизации гиперпараметров (HPO) и методов тонкой настройки можно обучить как 2D-, так и 3D-архитектуры CNN, чтобы превзойти предыдущий уровень техники. Архитектура 3D U-Net, обученная в этом исследовании, дала наилучшие сегменты в соответствии с количественными показателями (точность по пикселям 99,84% и ошибка смещения границ 0,58 пикселей), в то время как 3D FCDense обеспечила самые гладкие границы и лучшие сегменты в соответствии с визуальным контролем. . Обученные 3D CNN способны сегментировать целые 3D-объемы размером 852 x 852 x 250 вокселей всего за ~60 секунд, что ускоряет продвижение к более глубокому пониманию явлений фазового превращения, таких как затвердевание дендритов.
