Редакция Event.ruМеждународный интерактивный фестиваль современного искусства ARTLIFE FEST — одно из самых ярких воплощений концепции Art Sience Business. Команда фестиваля смело продвигает в массы искусство, новаторски подходит к экспозиции и расширяет грани восприятия при помощи технологий.
Третий год подряд команда PHYGITALISM разрабатывает мобильное AR-приложение, которое является проводником в phygital-мир фестиваля.
В этому году интерактивный опыт посетителя выставки был усовершенствован. Переход из физического в фиджитал-пространство стал более бесшовным, а дизайн приложения — интуитивным.
Приложение стало более иммерсивным, а дополненную реальность разнообразили новыми механиками и эффектами, в том числе и звуковыми.
Команда CG, художник Катя Токсик, художник и разработчик Влад Крутенюк и дизайнер приложения Катя Виноградова ответили на несколько вопросов по проекту ARTLIFE 2020 и рассказали о внутренней кухне разработки столь популярных сейчас AR-приложений:
Почему для выставки вы использовали AR?
Катя Т.: Выбор AR или дополненной реальности обусловлен максимальной доступностью этой технологии. Для просмотра достаточно смартфона. Конечно, есть определенные ограничения, к примеру, до старта проекта мы определяемся с парком устройств, которые будут поддерживать новую версию приложения. Естественно, мы стараемся включить туда все самые популярные устройства, поэтому многие гости выставки смогли установить приложение и увидеть AR.
К тому же опытом в дополненной реальности проще всего делиться: легко записать видео и выложить в сеть самые впечатляющие работы или просто показать соседу эффект на своем смартфоне.
Мы мечтаем об использовании смешанной реальности и о более высоких уровнях мультиплеера и иммерсивности в приложении. Однажды так и будет!)
Почему приложение? Есть ли еще какие-то альтернативы, чтобы ничего не нужно было скачивать?
Влад: Мы понимаем, что сейчас скачивать что-либо хочется все меньше и меньше, но перед нами стоит много задач. Например в этом году было 40 картин, 60 треков для аудиогида, а также информация об академии с записью на актуальные курсы. Интернет на выставке может легко подвести, особенно, учитывая количество гостей (60+ тыс.)
Мы разрабатывали приложение на Unity 3D и чувствовали себя вполне свободно. Получилось поработать с системами частиц, сделать плавное появление контента и многое другое.
Катя Т.: Альтернативы, конечно, есть. Web-AR развивается очень и очень быстро. В таком случае весь контент интегрирован, например, на сайт и открывается через него. Появляется большая зависимость от интернета и есть ряд весомых ограничений при создании контента.
Удачный пример выставки с дополненной реальностью, представили Facebook совместно с галереей Tate на базе платформы Instagram. Весь контент был упакован в инстаграм-маски, а работал по тому же принципу, что и у нас — через Image Target Tracking. Однако этот подход решил бы только маленькую часть наших задач.
Общаетесь ли вы с художниками во время реализации картин? Как они реагируют на ваши работы?
Катя Т.: Нет, мы никогда не общаемся с художниками при работе над картинами. Все утверждает команда Artlife.
Скорее всего, согласовывая эффекты с художниками мы бы просто не уложились в два месяца) Как минимум из-за разницы во времени, ведь в фестивале участвует 22 страны!
Хотя, конечно же, нам безумно интересно их мнение, судя по прошлому году, многие художники рады видеть такие цифровые сюрпризы на своих полотнах и с нетерпением ждут обновления приложения.
Влад: Хотелось бы сделать какую-нибудь коллаборацию с интересным художником: придумать вместе концепцию и историю, либо же просто крутые визуальные образы. И синхронно реализовать — художник на полотне, а мы в цифровом формате. Думаю, это дало бы большой результат и создало цельное и мощное произведение.
С какими сложностями вы сталкиваетесь процессе разработки приложения?
Влад: Есть ряд сложностей, связанных с разработкой внутри:
- Большая сложность кроссплатформенной разработки (Android и IOS) в том, что визуализации выглядят на устройствах по-разному. Это связано с разным графическим устройством + тот же андроид охватывает большое поколение девайсов со своими особенностями, поэтому на андроиде проблемы встречались чаще.
- Верстка универсального адаптивного UI. В итоге получилось сделать так, чтобы от небольших старых телефонов до планшетов — везде выглядело круто.
- У некоторых картин был плохой трекинг (контент плохо или вообще не встраивался на физическую картину, дрожал и пропадал). Мы использовали лайфхак: игрались с кривыми изображения-маркера, тем самым обманывая Vuforia и повышая качество трекинга.
Катя Т.: Для нас очень важно получить правильный исходник, который мы делаем маркером, так как контент встроится размер в размер. Не всегда есть возможность получить скан, тогда нам присылают фотографии. Небольшая погрешность в соотношении может повлиять на качество трекинга.
Мы не можем провести тесты на оригинальных картинах вплоть до дня открытия, так как они находятся в специальных запечатанных боксах. Также у нас нет плана выставки и мы не всегда до конца представляем масштаб картины: будет ли там достаточно места чтобы обойти ее, посмотреть с разных ракурсов. Все тесты мы проводим чаще всего с монитора компьютера, без бликов и помех.
В пространстве выставки есть факторы, влияющие на трекинг. Например, блики и отражения на стекле, освещение, паспарту, планировка выставки.
В общем, в день перед официальным открытием фестиваля, мы очень оперативно доводили приложение до блеска 
В чем особенность разработки AR контента? Есть ли какие-то интересные истории, связанные с этим?
Влад: Самое интересное для меня это мульти-подход в плане знаний, умений и инструментов для работы над проектом.
Сначала работаешь и готовишь материал в фотошопе, потом идешь в 3D редактор (Blender) там моделишь 3D, потом переносишь в Unity 3D, где пишешь шейдеры, используя математические функции, создаешь процедурные анимации (то есть алгоритмически, а не расставляя вручную ключи). Некоторые реализации делаешь в After Effects, а где-то вообще используешь нейросети! То есть нужно понимание начиная с обычного фотошопа, заканчивая кодом и ML.
Мы уже готовим ряд туторилов, по которым можно будет узнать о всех нюансах:)
Если подытожить вышенаписанное, то важная особенность — это чувствовать себя по-настоящему художником, а не просто 3D-моделлером или программистом.
Сколько времени уходит на одну картину?
Катя Т.: В среднем мы закладываем от одного до двух дней, однако, все зависит от того, насколько сложная реализация предстоит. Нам важно внедрять в пайплайн новые инструменты, технологии и методы, поэтому наиболее сложные картины требуют предварительного ресерча. Например, для Уилла Юйа “Рай за горизонтальной линией-36” был протестирован новый инструмент в blender 3D Grease Pencile, но для конкретно этого случая он не подошел, так как пока что работает без возможности экспорта.
Для картины Ли Кея “Без названия#02112” мы попробовали несколько разных вариантов и остановились на VFX Graph от Unity, отведя ей 4–5 дней с учетом тестов.
Благодаря нейронным сетям получается ускорять процесс, обходя рутинные задачи.
Вы говорили, что важно, чтобы приложение было интуитивным. Какими способами вы этого добивались и чему уделяли больше всего внимания?
Катя В.: Перед тем, как приступить к работе, мы протестировали большое количество AR-приложений из разных сфер, еще раз обратились к прошлогодней версии и вывели несколько важных пунктов, на которые стоит обратить внимание и заложить время :
- интуитивно понятные механики взаимодействия с AR и такие же понятные подсказки;
- чек-лист для всех картин с цифровым слоем (это мотивировало посетителя найти все 40 на выставке);
- минимум кнопок и отвлекающих элементов.
Еще одним важным фактором для нас было улучшить онбординг. От скучного текста, который никто не читает, мы пришли к поясняющим коротким видео.
Всегда нужно помнить, что для многих пользователей подобный опыт будет первым, важно не оттолкнуть и оставить приятное впечатление.
Создание прототипов и макетов сопровождалось тестированием гипотез: мы проверяли на коллегах и незаинтересованных лицах, насколько удобна механика или очевидна подсказка к взаимодействию с картиной в AR.
Влад: XR — очень молодая, плохо исследованная сфера, особенно в области User Experience (UX). Именно поэтому мы даём себе волю в экспериментах, мы хотим сделать свой вклад в развитие AR, как в технологию повсеместного использования.
Одной из наших фишек стала функция Auto Switch. Для просмотра контента на картине мы поднимаем телефон в горизонтальное положение, а угол наклона можем детектировать через гироскоп, встроенный в смартфоны. Также под рукой должен оставаться выше упомянутый чек-лист, который удобнее всего смотреть в горизонтальном положении. Так и работал Auto Switch: поднимаем телефон — включается AR, опускаем — открывается чек-лист.
При этом мы кропотливо отнеслись к дизайну данной фичи, такое кардинальное изменение экрана без специальных действий может испугать и оттолкнуть.
Катя В.: Мы хотели сделать интерфейс максимально бесшовным. Конечно, эту функцию всегда можно отключить на экране Дополненной реальности, например, если вы просматриваете картины в журнале или на открытках ARTLIFE.
На самой выставке ARTLIFE FEST 2020 мы провели мини-исследование: как посетители пользуются приложением, просматривают AR-контент, прослушивают аудиогид, какие при этом возникают эмоции, комментарии или проблемы. Исследования эффективности наших решений в “боевых” условиях натолкнули нас на некоторые мысли, в следующем году вернемся с новыми крутыми фишками
В этом году вы включили игровые механики. Есть ли у них весомое значение или это было сделано скорее для развлечения?
Влад: В прошлом году осталось время, и на одну из картин я добавил взаимодействие по тапу: при нажатии на картину гасли фонари и наступала ночь). Она произвела большое впечатление на выставке и мы решили, что в этом году добавим больше интерактивных механик.
Мне кажется, что в первую очередь это просто очень прикольно. Когда от твоего действия цифровой слой изменяется. Иммерсивный эффект дает иллюзию того, что это настоящее. Именно поэтому мы так любим всё цифровое, это совершенно иной экспириенс за рамками привычного.
Катя Т.: В прошлом году мы сделали интересное наблюдение, при просмотре AR люди совершенно неподвижные. От этого теряется много магии и представление, что это все в 3D!
Добавление интерактива важно, потому что, если человек не начнет двигаться и действовать, у него ничего не произойдет. Тем самым мы показываем, что с цифровым контентом себя нужно вести так же естественно, как и с физическим миром.
Мы рассматриваем фестиваль не как событие на 10 дней, для которого специально было разработано приложение, а как обучающая площадка для работы с технологиями.
Как начать самим делать AR?
Катя Т.: Сегодня инструменты становятся доступнее и понятнее. Самый простой пример создания AR — программа от Facebook Spark AR. Это не только про маски, но и про то, что можно менять окружающее пространство через фильтры и добавлять свои 3D объекты. Для более сложных масок, конечно, потребуются специальные знания CG и программирования, но самые простые можно создать, следуя уроку на YouTube. Так же хорошее приложение по экспериментам с Image Tracking — EyeJack.
Влад: Как и в любом деле, чтобы что-то сделать нужно приложить усилие. Для тех кто интересуется 3D моделированием, стоит посмотреть платформу Vectary 3D, для создания сцен и просто экспорту моделей файлом, который откроется в виде AR через стандартную камеру на вашем iPhone. Точно также можно сделать в Sketchfab, если загрузить туда свою модельку. При должной усидчивости, можно получить интересные результаты
Вдохновляться приходите в телеграм-каналы Phygital Graphics и Phygital Art.
Подробнее в источнике: ARTLIFE 2020: Интервью с разработчиками AR-приложения
В Москве открылся первый мультисенсорный ресторан For The Krasota
Первая геймифицированная презентация — Balenciaga запустила новую коллекцию в формате видеоигры
Поделиться