Крупный прорыв в исследованиях LLM.
Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, у которого уже более 160 000 подписчиков. TheSequence — это информационный бюллетень, ориентированный на машинное обучение, без BS (то есть без шумихи, без новостей и т. д.), чтение которого занимает 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов машинного обучения, научных работ и концепций. Пожалуйста, попробуйте, подписавшись ниже:
Большие языковые модели (LLM) продолжают раздвигать границы моделей вычислений по одному прорыву за раз. Как далеко это может зайти? Что ж, недавняя исследовательская работа, опубликованная исследователями ИИ из Google Brain и Университета Альберты, показывает, что она может зайти ОЧЕНЬ ДАЛЕКО. Можем ли мы смоделировать любой алгоритм, используя большие языковые модели (LLM) и память? Может ли комбинация LLM и памяти быть полной по Тьюрингу?
В области вычислений концепция машин Тьюринга воплощает идею универсального компьютера — замечательной машины, способной эмулировать работу любого другого вычислительного устройства. Недавние запросы возникли, исследуя сложные отношения между моделями больших языков (LLM) и машинами Тьюринга. Эти запросы размышляют о том, обладают ли большинство LLM присущими ограничениями в выражении вычислений в пределах одного ввода. Чтобы решить эту проблему, новые исследовательские усилия были направлены на оснащение LLM внешней петлей обратной связи, посредством которой выходные данные модели обрабатываются и впоследствии возвращаются в качестве входных данных. Этот подход ставит ключевой вопрос: является ли дополнение LLM внешней петлей обратной связи просто полезной или фундаментально расширяет широту вычислений, которые могут быть выполнены?
В своей статье Google Brain и Университет Альберты углубляются в этот вопрос. В рамках этой работы они проницательно демонстрируют вычислительную универсальность, достижимую за счет дополнения LLM ассоциативной памятью для чтения и записи. Исследование сосредоточено вокруг использования…
