ПОДКАСТ
Scary Smart: взгляд бывшего руководителя Google на риск ИИ
Mo Gawdat об AGI, его потенциале и рисках для безопасности
Примечание редактора. Ведущим подкаста TDS является Джереми Харрис, соучредитель Mercurius, стартапа, занимающегося безопасностью ИИ. Каждую неделю Джереми общается с исследователями и бизнес-лидерами, работающими в авангарде отрасли, чтобы ответить на самые насущные вопросы, связанные с наукой о данных, машинным обучением и искусственным интеллектом.
Если вы просматривали свою ленту новостей в конце сентября 2021 года, вы, возможно, заметили этот яркий заголовок из лондонской Times, который гласил: «Сможет ли этот человек спасти мир от искусственного интеллекта?»
Речь шла о Мо Гавдате, предпринимателе и старшем технологическом руководителе, который несколько лет проработал главным бизнес-директором в GoogleX (теперь называется X Development), полусекретном исследовательском центре Google, который экспериментирует с такими проектами, как беспилотные автомобили, летательные аппараты и геотермальная энергия. В X Мо познакомился с самыми передовыми технологиями во многих областях, одной из которых был ИИ. Его опыт наблюдения за тем, как системы ИИ учатся и взаимодействуют с миром, поднял для него красные флажки — намеки на потенциально катастрофические режимы отказа систем ИИ, с которыми мы можем столкнуться, если не соберемся сейчас.
Мо пишет о своем опыте инсайдера в одной из самых секретных исследовательских лабораторий мира и о том, как это заставило его беспокоиться о риске ИИ, а также о перспективах и потенциале ИИ в своей новой книге Страшно умный: будущее искусственного интеллекта и Как вы можете спасти наш мир. Он присоединился ко мне, чтобы поговорить об этом в этом выпуске подкаста TDS.
Вот некоторые из моих любимых выводов из разговора:
- За последние несколько десятилетий прогресс в области ИИ был экспоненциальным (или более чем экспоненциальным, если измерять его на основе вычислительных кривых). Люди действительно плохо экстраполируют экспоненциальные тренды, и это может привести к тому, что нас застанут врасплох. Отчасти это связано с тем, что экспоненциальный прогресс может изменить мир так сильно и так быстро, что прогнозировать практически невозможно. Благодаря экспоненциальной динамике один случай COVID превращается в общенациональную блокировку в течение нескольких недель, а когда-то милый и игнорируемый инструмент, такой как ИИ, становится революционной технологией, развитие которой может определить само будущее Вселенной.
- Одной из основных движущих сил экспоненциального прогресса ИИ была петля экономической обратной связи: компании узнали, что они могут надежно инвестировать деньги в исследования ИИ и получать положительную отдачу от своих инвестиций. Многие предпочитают вкладывать эти доходы обратно в ИИ, что еще больше расширяет возможности ИИ, что приводит к благотворному циклу. Недавние тенденции к масштабированию, кажется, предполагают, что ИИ достиг своего рода экономической скорости убегания, когда прибыль на предельный доллар, вложенный в исследования ИИ, достаточно значительна, чтобы технические руководители не могли больше их игнорировать — все это делает ОИИ неизбежным, в Мнение Мо.
- Будет ли AGI разработан к 2029 году, как предсказал Рэй Курцвейл, или несколько позже, как утверждает этот великий пост Open Philanthropy, на самом деле не имеет значения. Так или иначе, искусственный интеллект человеческого уровня или общий интеллект (определения размыты!), кажется, должен появиться к концу века. Мо считает, что тот факт, что безопасность ИИ и политика в отношении ИИ не являются нашим единственным величайшим приоритетом как вида, является огромной ошибкой. И в этом я, конечно, с ним согласен.
- Мо не верит, что проблему управления ИИ (иногда известную как проблема выравнивания) можно решить. Он считает невозможным, чтобы организмы на несколько порядков менее разумные, чем системы ИИ, могли бы осуществлять над ними какой-либо значимый контроль.
- Его решение необычное: люди, утверждает он, должны изменить свое онлайн-поведение и относиться друг к другу с большей терпимостью и вежливостью в социальных сетях. Идея этой стратегии состоит в том, чтобы надеяться, что по мере того, как системы ИИ будут обучаться контенту социальных сетей, созданному людьми, они научатся имитировать более добродетельное поведение и будут представлять для нас меньшую угрозу. Я, по общему признанию, скептически отношусь к этой точке зрения, потому что не понимаю, как она решает некоторые из основных особенностей систем ИИ, которые так усложняют согласование (например, поиск власти и инструментальная конвергенция или проблема «объективной Спецификация"). Тем не менее, я думаю, что есть много места для более широкого разговора о безопасности ИИ, и я рад, что Мо проливает свет на эту важную проблему.
Вы можете следить за Мо в Твиттере здесь или за мной здесь.
Главы:
- 0:00 Вступление
- 2:00 Предыстория Мо
- 7:45 проекты GoogleX
- 14:20 Возврат инвестиций
- 21:40 Не создавать другую машину
- 28:00 ИИ как встроенный агент
- 41:35 Изменение человеческого поведения
- 53:35 Цели и стремление к власти
- 58:45 Подведение итогов
