Эта статья является частью серии статей, содержащих мою заключительную диссертацию по изучению квантовых машин. Если вы не читали их, нажмите на мой профиль, есть шесть предыдущих статей, которые приведут вас к этой.
В этой статье мы собираемся проанализировать статью, в которой квантовый отжиг используется для обучения глубоких нейронных сетей. Ссылка на статью следующая: https://arxiv.org/ftp/arxiv/papers/1510/1510.06356.pdf.
В этой статье альтернативный способ оценки моделей математического ожидания машины Больцмана был исследован с использованием компьютера квантового отжига от D-Wave Systems [1]. Он предлагается в качестве альтернативы методу под названием Contrastive Divergence (метод тренировки машин Больцмана). Этот метод является дорогостоящим и длительным с точки зрения времени выполнения и использования оперативной памяти для текущих компьютеров, что делает его неэффективным. Метод был протестирован в надежной версии набора данных MNIST.
Они использовали серию RBM, связанных друг с другом с 32 нейронами в видимом слое и еще 32 нейронами в скрытом слое. Они реализовали их на компьютере D-Wave на 512 кубитов.
Способ обучения машин Больцмана заключается в выполнении вероятностной выборки в соответствии с распределением Больцмана. В этой статье они используют квантовый компьютер, чтобы сделать вероятностную выборку более эффективным и быстрым способом.
Они решили проблему обучения, разделив ее на две части: генеративная тренировка и дискриминационная тренировка. В первом, который они также называют «предварительным обучением», они тренируют по одному УКР за раз. Веса инициализируются случайными значениями и обновляются с использованием следующих формул:
Где α - момент, а ɛ - параметр обучения. Модели ожидания, 〈𝑣_𝑖ℎ_𝑗〉 _𝑚odelo, 〈𝑣_𝑖〉 _modelo y 〈ℎ_𝑗〉 _modelo, оценивались с использованием квантовой выборки. Архитектуру этой модели можно увидеть на рисунке 1:
Дискриминационное обучение проводится на классическом компьютере. Что они делают, так это улавливают окончательные веса предварительного обучения и выполняют обратное распространение, чтобы обновить веса и смещения в соответствии с сделанным прогнозом.
Что касается вероятностной выборки, выполняемой квантовым компьютером, она заключается в нахождении минимума энергии (функции потерь). Таким образом, мы переходим от начального гамильтониана к конечному, соответствующему минимуму. В статье выражение
используется как окончательный гамильтониан. Алгоритм квантового отжига запускается N раз и берется среднее значение образцов:
Это служит оценкой ожидания модели. То же для случаев в (1).
Они использовали набор данных MNIST, который широко используется в мире машинного обучения. Он состоит из 60 000 изображений для обучения и 10 000 для тестирования. Каждое изображение содержит правильный ответ, чтобы иметь возможность выполнять обучение и обновлять веса (контролируемое обучение). Это изображения в оттенках серого 28x28 пикселей, представляющие рукописные цифры от 0 до 9. Изображения были адаптированы, так как 784 пикселя каждого превышали входной слой из 32 нейронов. Таким образом, дошло до изображений размером 6х6 пикселей.
В своем исследовании они, в свою очередь, выполнили полностью классическое моделирование, чтобы сравнить результаты с его квантовым аналогом. Нейронные сети, использованные в обоих случаях, были полностью идентичны: 32 входных нейрона, 2 скрытых слоя по 32 нейрона в каждом и выходной слой с 10 нейронами (по одному на каждую возможную цифру).
На рисунке 3 мы видим точность обеих моделей. По полученным результатам видно, что квантовая модель требует меньше итераций и обучающих примеров, чем классическая, для достижения того же уровня успеха.
В заключение видно, что в этом случае квантовая модель превосходит классическую. Однако существуют ограничения в отношении кодирования набора данных или ошибок, которые могут быть сделаны в квантовом компьютере. Однако этот пример приложения показывает, что путь квантовых вычислений в машинном обучении, скорее всего, будет вероятностной выборкой или логическим выводом, а не оптимизацией.
Взгляд на будущее
В следующих двух статьях мы собираемся проанализировать еще два примера статей, в которых квантовые вычисления и машинное обучение работают вместе.
Следите за обновлениями и так держать!
использованная литература
[1] Стивен Х. Адачи, Максвелл П. Хендерсон, Применение квантового отжига для обучения глубоких нейронных сетей, Lockheed Martin Corporation, 2015.
[2] https://commons.wikimedia.org/wiki/File:MnistExamples.png.
