- Идентификация NARX с использованием регуляризованных нейронных сетей на основе производных (arXiv)
Автор:Л. Х. Питерс, Г. И. Бейнтема, М. Форджоне, М. Шукенс
Аннотация:в его работе представлен новый метод регуляризации для идентификации моделей нелинейной авторегрессии экзогенных (NARX). Метод регуляризации способствует экспоненциальному затуханию влияния прошлых входных выборок на текущие выходные данные модели. Это делается путем снижения чувствительности смоделированных выходных данных модели NARX по отношению к прошлым входным данным. Это способствует стабильности оцениваемых моделей и улучшает качество получаемых моделей. Эффективность подхода демонстрируется на примере моделирования, где модель нейронной сети NARX идентифицируется с помощью этого нового метода. Кроме того, показано, что предлагаемый подход к регуляризации повышает точность модели с точки зрения ошибок моделирования по сравнению с другими методами регуляризации и классами моделей.
2. Надежная классификация нейронных сетей с помощью двойной регуляризации (arXiv)
Автор:Улоф Зеттерквист, Ребекка Йорнстен, Йохан Йонассон
Аннотация. Наличие неправильно помеченных наблюдений в данных является общеизвестно сложной проблемой в статистике и машинном обучении, связанной с плохими свойствами обобщения как для традиционных классификаторов, так и, возможно, даже в большей степени для гибких классификаторов, таких как нейронные сети. Здесь мы предлагаем новую двойную регуляризацию потерь при обучении нейронной сети, которая сочетает в себе штраф за сложность модели классификации и оптимальное повторное взвешивание обучающих наблюдений. Комбинированные штрафы приводят к улучшенным свойствам обобщения и высокой устойчивости к переоснащению в различных настройках неправильно помеченных обучающих данных, а также к изменению начальных значений параметров при обучении. Мы приводим теоретическое обоснование предложенного нами метода, полученного для простого случая логистической регрессии. Мы демонстрируем модель двойной регуляризации, обозначенную здесь DRFit, для классификации нейронной сети (i) MNIST и (ii) CIFAR-10, в обоих случаях с имитацией неправильной маркировки. Мы также показываем, что DRFit идентифицирует неправильно помеченные точки данных с очень хорошей точностью. Это обеспечивает сильную поддержку DRFit как практического готового классификатора, поскольку без какого-либо ущерба для производительности мы получаем классификатор, который одновременно уменьшает переобучение против неправильной маркировки и дает точную меру надежности меток.
3. Классификация видов деревьев по гиперспектральным данным с использованием нейронных сетей с регуляризацией по графу (arXiv)
Автор:Дебмита Бандйопадхьяй, Субхадип Мукерджи
Аннотация: Ручная маркировка пород деревьев остается сложной задачей, особенно в тропических регионах, из-за труднодоступности и трудоемкости наземных съемок. Гиперспектральные изображения (HSI) благодаря их узким и непрерывным полосам могут помочь в различении видов деревьев на основе их спектральных свойств. Таким образом, алгоритмы автоматической классификации на изображениях HSI могут помочь дополнить ограниченную помеченную информацию и создать карту классификации в реальном времени для различных пород деревьев. Достижение высокой точности классификации при ограниченном количестве размеченной информации на изображении — одна из ключевых задач, которую исследователи начали решать в последние годы. Мы предлагаем новый алгоритм нейронной сети, регуляризованной по графу (GRNN), который включает в себя сегментацию на основе суперпикселей для построения графа, попиксельный классификатор нейронной сети и метод распространения меток для создания точной карты классификации. GRNN превосходит несколько современных методов не только для стандартного HSI Indian Pines, но также достигает высокой точности классификации (около 92%) на новом наборе данных HSI, собранном по лесам Французской Гвианы (FG), даже когда помечены менее 1% пикселей. Мы показываем, что GRNN не только конкурентоспособен с современными полууправляемыми методами, но также демонстрирует меньшую дисперсию в точности для разного количества обучающих выборок и разной независимой случайной выборки помеченных пикселей для обучения.
