Публикации по теме 'deep-learning'
Один трюк с PyTorch, который вы должны знать
Один трюк с PyTorch, который вы должны знать
Как хуки могут значительно улучшить ваш рабочий процесс
Если вы когда-либо раньше использовали глубокое обучение, вы знаете, что отладка модели иногда может быть очень сложной. Несоответствие формы тензор, взрывные градиенты и множество других проблем могут вас удивить. Для их решения необходимо посмотреть на модель под микроскопом. Самые простые методы включают засорение forward() методов операторами печати или введение точек..
Еженедельный обзор arXiv #10
Приветствую, Среднее сообщество,
В этом выпуске представлены публикации, опубликованные на arXiv с 27 мая по 2 июня, и представлены идеи и анализ наиболее значимых исследований и тенденций.
Давайте погрузимся!
Обнаружение контекстных объектов с мультимодальными моделями больших языков
Мультимодальные модели больших языков улучшают качество обнаружения визуальных отношений.
Недавние мультимодальные модели большого языка (MLLM) замечательно справляются с задачами языка зрения,..
Приложения интеграла пути Фейнмана, часть 3 (физика)
Множественные фононные моды в вариационной подвижности полярона с интегралом по пути Фейнмана (arXiv)
Автор: Брэдли А. А. Мартин , Джарвист Мур Фрост .
Аннотация: Вариационный подход Фейнмана с интегралом по путям к задаче о поляроне\cite{Feynman1955}, наряду с соответствующей теорией мобильности с линейным откликом FHIP\cite{Feynman1962}, обеспечивает вычислительно поддающийся методу прогнозирования температурно-зависимого заряда с частотным разрешением. -подвижность носителей и..
Визуализация вашей нейронной сети Каждый специалист по обработке и анализу данных должен знать
Модельный зоопарк: https://modelzoo.co/ Нетрон: https://netron.app/ keras vis: https://github.com/raghakot/keras-vis
Оценка неопределенности в моделях машинного обучения — Часть 3
Посмотрите часть 1 ( здесь ) и часть 2 ( здесь ) этой серии. Эта статья изначально была опубликована в блоге Comet.
В последней части нашей серии статей об оценке неопределенности мы рассмотрели ограничения таких подходов, как бутстреп для больших моделей, и продемонстрировали, как мы можем оценить неопределенность в прогнозах нейронной сети с помощью MC Dropout .
До сих пор подходы, которые мы рассматривали, включали создание вариаций в наборе данных или параметрах модели для оценки..
Решение ограничений обучения смешанной точности
Смешанная точность стала необходимой для обучения больших моделей глубокого обучения, но сопряжена с рядом проблем. Перемещение параметров модели и градиентов в типы данных с более низкой точностью, такие как FP16, может ускорить обучение, но также создает проблемы с числовой стабильностью. Обучение в FP16 сопряжено с более высокой вероятностью недостаточного или переполненного градиента, менее точными расчетами оптимизатора и выходом накопителей за пределы диапазона типа данных.
В этом..
Новые методы с методом наименьших квадратов, часть 2 (машинное обучение)
Высокоразмерный предел однопроходного SGD по методу наименьших квадратов (arXiv)
Автор: Элизабет Коллинз-Вудфин , Эллиот Пакетт .
Аннотация: Мы даем описание многомерного предела однопроходного однопакетного стохастического градиентного спуска (SGD) в задаче наименьших квадратов. Этот предел берется с ненулевым размером шага и с пропорциональным отношением количества выборок к размерности задачи. Предел описывается в терминах стохастического дифференциального уравнения в больших..
