Новые медиа: игры в альтернативной реальности, искусственный интеллект и машинное обучение, панель USC
Как AI, VR, AR и многое другое повлияют на истории, которые мы рассказываем, и на то, как мы их рассказываем?
«Нам нужно знать больше вещей, чем когда-либо. Думайте вне экрана. Если мы этого не сделаем, мы останемся позади».
— Норман Холлин
Арвелл Чаппелл III
Арвелл работает с концепцией кинематографического ИИ, термином, который он придумал для великих повествований с использованием данных, которые он начал изучать, когда был студентом Университета Южной Калифорнии. Имея опыт работы в аэрокосмической технике для Boeing и работы со спутниками, он уже знал, как программировать, и подумал: а не было бы здорово сделать интерактивный фильм?
Чтобы создать разветвленную сюжетную линию, он начал с простого использования программного обеспечения во Flash. Компьютер будет слушать звук и, например, искать смех или аплодисменты, а затем соответствующим образом переключаться. В 2007 году компания успешно распознала эти реплики для комедийных программ. Они создают и пишут эти программы с нуля, и все они используют базовую концепцию использования данных для разветвления истории.
Когда виртуальная реальность начала набирать популярность, Чаппелл запустил веб-сайт под названием GraymatterVR, еще работая инженером Boeing. В настоящее время GraymatterVR имеет 4 ожидающих патента.
«В виртуальной реальности у вас на лице компьютер. Это здесь, и это выполнимо». — Арвел Чаппелл III
GraymatterVR был в основном для того, чтобы изложить свои идеи на бумаге, пока Тревор Ноа не подошел к нему через связь и не спросил, можно ли снять его предстоящее шоу Netflix в виртуальной реальности.
Однако в настоящее время Netflix не поддерживает VR или 360-градусное видео, поскольку они не могут его распространять. Кинематографисты, желающие работать с этой средой, с трудом справляются с неопределенностью и отсутствием контроля, но Чаппелл возлагает большие надежды и говорит, что все они очень быстро учатся тому, как использовать ее огромный потенциал.
Его главный совет? Неважно, что вы знаете или сколько вам лет, важно, чтобы у вас была страсть и вы использовали все, что у вас есть, чтобы осуществить свою мечту, — говорит Чаппелл.
Норман Холлин
У Нормана был интересный взгляд на взаимосвязь между редактированием и внедрением новых и появляющихся технологий: одно без другого, и редактору не выжить, говорит он.
«Невозможно редактировать без использования этой технологии». — Норман Холлин
Он говорит, что есть две основные реакции редакторов на ИИ. и машинное обучение: те, кто говорит «это интересно!», или те, кто говорит «ни за что». Только один из них останется редактором. Можете ли вы предположить, какой из них?
Что такое ИИ?
Искусственный интеллект
- Воспринимает свое окружение.
- Принимает решения, чтобы максимизировать шансы на достижение своей «цели».
Что такое машинное обучение?
Машинное обучение дает «компьютерам возможность учиться без явного программирования». Существует также разница между контролируемым и неконтролируемым обучением, но, если свести к основам, это программирование, которое учится лучше программировать себя на основе нейронной сети.
Некоторые интересные новости заключаются в том, что машинное обучение может стать огромным будущим активом в программном обеспечении для транскрипции.
Выполнение этого сейчас дешевле, чем когда-либо, и чем больше слов и предложений он слышит от испытуемых, тем больше он может повысить точность расшифровки.
В наши дни машинное обучение можно использовать для распознавания лиц, голоса или текста, но еще многое предстоит улучшить. В будущем, кто знает, насколько продвинутой, не говоря уже о полезной, может стать эта технология!
Например, технология машинного обучения упрощает задачи помощника, позволяя кому-то выиграть больше времени для выполнения других, более сложных задач по редактированию.
Как это работает
Машинное обучение при редактировании может «автоматически» соединять фрагменты данных в каждом дубле с помощью «построителя идиом» с такими основами, как:
○ говорящий виден
○ переходить через вырез
○ выделять характер
○ увеличивать/уменьшать масштаб
○ постоянно увеличивать масштаб
назвать лишь несколько в своей библиотеке.
На данный момент он все еще учится создавать эти идиомы, но когда он начнет учиться с помощью паттенов в нейронной сети, он может начать изучать и кинематографический стиль.
«Для меня это меняет правила игры, — говорит Холлин.
Что такое анализ настроений?*
(*Анализ настроений также иногда называют анализом эмоций.)
Используя эмоциональный API для неподвижных изображений, можно определить свое эмоциональное состояние. Любой может взять неподвижное изображение, вставить его в Microsoft Azure, и оно сравнится с корпусом данных об эмоциях и даст вам вероятность
○ гнев
○ презрение
○ отвращение
○ страх
○ радость
○ печаль
○ удивление
в лицах, обнаруженных на изображении.
Можно ли использовать такое признание для оценки реакции аудитории?
Краткий ответ: Абсолютно!
Длинный ответ: одним из примеров компании, которая уже делает это, является Affectiva, которая использует распознавание лиц аудитории для получения ряда различных полезных данных. Это особенно полезно для людей, создающих рекламу и рекламу, или просто в любое время, когда вы хотите формировать и/или отслеживать реакцию своей аудитории.
Люди склонны вести себя критично, когда им вручают ручку и бумагу: и «все — критики». Тем не менее, этот тип анализа ИИ может быть не столь предвзятым, чтобы выяснить, как они на самом деле реагируют, когда им что-то показывают, даже их реакции на подсознательном уровне могут четко отображаться на их лицах.
VoCo — это то, что Adobe создает, чтобы работать с распознаванием и заменой звука, и называется «Photoshop для голосов». Холлин говорит, что количество раз, когда он пытался обмануть слово или найти определенный звук «фф» в аудио, бесчисленно. «Система автоматически синтезирует новое слово, склеивая фрагменты».
Если бы это было в сочетании с технологией замены лица, у вас была бы возможность создавать новые представления, которых вы никогда раньше не видели. Мы приближаемся к созданию реалистичных, фальшивых людей на экране. Конечно, с этим связано множество этических проблем. Если нас можно одурачить этим, должны быть способы защиты от такого рода дезинформации посредством выдачи себя за другое лицо.
Даже принимая во внимание эти возможности, мы не должны бояться этой технологии, говорит Холлин. Такая технология распознавания могла бы значительно упростить и повысить производительность монтажной.
Пейсли Смит
режиссер и продюсер виртуальной реальности. Впервые она начала работать с виртуальной реальностью, будучи студенткой Университета Южной Калифорнии, на занятиях по построению слов и экспериментальному классу, а недавно работала в лаборатории историй New Frontier в Sundance.
У нее был большой опыт в том, как быстро эта технология может измениться. Для создания интерактивных предметов виртуальной реальности в масштабе комнаты у технологии были некоторые ограничения. Если кто-то шел с гарнитурой с привязанным шнуром, кто-то должен был следовать за ним, держать шнур и следить за тем, чтобы он не споткнулся о человека, полностью погруженного в воду. Ей также было сложно создавать раскадровки на 360°°.
Находясь в Нью-Йорке, Смит работал с парой исследователей, заинтересованных в изучении того, как люди взаимодействуют с контентом в формате 360°°. Они создали сцену, и люди использовали поддельные гарнитуры виртуальной реальности, чтобы измерить, куда они смотрели и почему во время части повествования, и получить данные о своей вовлеченности. К сожалению, они в конечном итоге отказались от того, что создали, потому что это не подходило для того, как следует рассказывать историю «Таро».
Иммерсивная работа Нонни де ла Пенья обычно уходит своими корнями в реальное место, которое служит дорожной картой. Для «Таро» Смит решил обосновать его в японском саду, который действительно существует, поскольку у этих типов садов есть структура, которая устроена таким образом, чтобы рассказать историю о возрасте и жизненном цикле через растения и особенности воды.
Другие изменения коснулись оборудования. Они переключились с использования контроллера Vive на сенсорный экран Oculus, который включает в себя возможность видеть руку и пальцы в игре, что вызывает больший эмоциональный отклик и больше вовлекает вас в повествование.
Эта технология движется и меняется так быстро, что если на создание чего-то уходит три года, оно может устареть еще до того, как будет сделано, что в конечном итоге и произошло с ее проектом «Таро».
С тех пор она основала организацию Virtual Reality Girls, которая представляет женщин-творцов в области виртуальной реальности, поскольку важно видеть, что женщины в сфере технологий создают с помощью этой быстро развивающейся и захватывающей технологии.
ИГ: @девушки виртуальной реальности
Ее совет: лучший способ учиться — развлекаться, быть игривым и помнить, что все, что вам уже нравится, может быть воплощено в технологиях. Кроме того, хорошая история будет хороша независимо от платформы!
Сьюзан Бондс
считает, что виртуальная реальность разрушит и повлияет на каждую отрасль, но, конечно же, на индустрию развлечений.
Как и Чаппелл III, она также имеет опыт работы в области инженерии и ранее работала в Disney Imagineer. На этой работе ей было поручено воплотить фильмы в жизнь, и она вместе с Индианой Джонс работала над первым движущимся симулятором в 3D-декорациях.
При этом типе погружения «из кирпича и раствора» каждая маленькая деталь способствует целому, и лучше всего быть внимательным и дотошным. Например, лестницы были сделаны из белого дуба, потому что именно так их делали в 1800-х годах, и даже такую маленькую деталь нужно было учитывать.
Бондс также работал над играми Ubisoft Uru: Ages Beyond Myst и Myst Online, обе из которых содержат глубоко детализированные виртуальные миры. Работая над этими играми, она сделала следующие выводы:
○ Дайте вашей аудитории роль, свободу действий и возможность взаимодействовать.
○ Сообщество — это огромная часть игры: в виртуальном мире у вас есть виртуальные друзья, и в конечном итоге вы будете проводить много времени вместе.
Как и многие другие, Бондс видит проблему в том, насколько изолированным может быть опыт виртуальной реальности. Хотя Бондс заявляет, что она верит в виртуальную реальность, а не в дополненную реальность, групповой опыт жизненно важен, поскольку «я думаю, что мы хотим выйти и делать классные вещи с людьми». Наушники чрезвычайно изолируют друг друга, но мы так привыкли воспринимать вещи совместно в нашей повседневной жизни. Тем не менее, это может не быть проблемой намного дольше!
Одним из примеров является Полевая поездка на Марс компании Lockheed Martin, которая стала первым опытом групповой виртуальной реальности. Им пришлось изобрести способ превратить прозрачные окна в дисплеи с высоким разрешением, и дети, которым сказали, что они собираются на экскурсию, были очень удивлены, когда их окружение внезапно изменилось на местность с Красной планеты, синхронизированную с поворотами. автобус ехал по их маршруту.
Еще один огромный шаг вперед для VR-рассказчиков — Звездные войны: Тайны Империи от ILMxLAB и The VOID. В ходе этой поездки они решили несколько проблем. Например, HMD имеет форму шлема истребителя X-wing, поэтому надевание гарнитуры и оптического жилета было просто частью опыта. По словам Бондса, для максимального удобства технология должна быть невидимой.
Alien Zoo — еще один проект Dreamscape Immersive, расположенный в торговом центре Westfield Century City. Это переносит кинематографию в виртуальную реальность, поскольку она переносит вас в внепланетный инопланетный зоопарк в будущем, и этот опыт сочетает в себе как физические реквизиты, так и виртуальные реальности для более похожего на голопалубу опыта. Мало того, что вы можете быть вдохновляющим и фантастическим, но с помощью технологии VR небольшая комната может стать пространством безбрежности, оставляя у клиента ощущение, что они действительно куда-то ушли.
С тех пор, как она начала работать, она испытала много изменений в этой области и наблюдала за «толчком творчества и технологий». Первоначально она перешла от «погружения из кирпича и раствора» с Индианой Джонсом к тому, что доступно сегодня на HMD, и размышляет о гораздо большем в будущем.
У нее есть несколько полезных советов для создателей любого рода. Иногда вы можете потерять представление о том, что опыт аудитории важнее, чем опыт создателя, поэтому она призывает всегда держать аудиторию в центре внимания. Спросите себя, чего ждет аудитория? Всегда знайте и проектируйте для своей аудитории!
