- Ankh: оптимизированная белковая языковая модель открывает возможности для универсального моделирования (arXiv)
Автор: Ахмед Эльнаггар, Хазем Эссам, Вафаа Салах-Элдин, Валид Мустафа, Мохамед Элькердави, Шарлотта Рошеро, Буркхард Рост.
Аннотация: В отличие от масштабирования моделей белкового языка (PLM), мы стремимся повысить производительность за счет оптимизации, специфичной для белка. Несмотря на то, что пропорциональность между размером языковой модели и богатством ее изученных представлений подтверждена, мы отдаем приоритет доступности и идем по пути оптимизации данных, снижения затрат и оптимизации, основанной на знаниях. С помощью более чем двадцати экспериментов, начиная от маскирования, архитектуры и данных предварительного обучения, мы получаем информацию из экспериментов, специфичных для белков, для создания модели, которая оптимально интерпретирует язык жизни. Мы представляем Ankh, первый PLM общего назначения, обученный на Google TPU-v4, который превосходит современную производительность с меньшим количеством параметров (‹10% для предварительного обучения, ‹7% для логического вывода и ❤0% для вложенный размер). Мы предоставляем репрезентативный диапазон тестов структуры и функций, в которых Ankh превосходит другие. Кроме того, мы предоставляем анализ генерации вариантов белка по шкалам входных данных High-N и One-N, где Ankh удается изучать тенденции эволюционной консервации-мутации белков и вводить функциональное разнообразие при сохранении ключевых структурно-функциональных характеристик. Мы посвящаем нашу работу содействию доступности исследовательских инноваций с помощью доступных ресурсов.
2. Когда геометрическое глубокое обучение встречается с предварительно обученными белковыми языковыми моделями (arXiv)
Автор: Фан Ву, Ю Тао, Драгомир Радев, Джинбо Сюй.
Аннотация: Геометрическое глубокое обучение недавно достигло больших успехов в неевклидовых областях, и изучение трехмерных структур больших биомолекул становится отдельной областью исследований. Однако его эффективность в значительной степени ограничена из-за ограниченного количества структурных данных. Между тем, модели белкового языка, обученные на существенных одномерных последовательностях, продемонстрировали растущие масштабные возможности в широком диапазоне приложений. Тем не менее, ни в одном из предыдущих исследований не рассматривалось объединение этих различных белковых модальностей для повышения репрезентативности геометрических нейронных сетей. Чтобы восполнить этот пробел, мы делаем первый шаг, чтобы интегрировать знания, полученные с помощью хорошо обученных моделей белкового языка, в несколько современных геометрических сетей. Эксперименты оцениваются по различным эталонным показателям обучения представлению белков, включая прогнозирование интерфейса белок-белок, оценку качества модели, стыковку твердого тела белок-белок и прогнозирование аффинности связывания, что приводит к общему улучшению на 20% по сравнению с исходными уровнями и новым состоянием. - ультрасовременное исполнение. Веские доказательства указывают на то, что включение знаний о моделях белкового языка значительно увеличивает пропускную способность геометрических сетей и может быть обобщено для сложных задач.
