Вот проблемы, с которыми сталкивается мобильная VR
Мы, наконец, углубляемся в революцию виртуальной реальности, как некоторые могут выразиться, с появлением на рынке большого количества аппаратных и программных продуктов и выделением ресурсов для стимулирования инноваций. Тем не менее, прошло больше года с момента запуска основных продуктов в этой сфере, и мы все еще ждем этого потрясающего приложения, которое сделает виртуальную реальность популярной. Пока мы ждем, новые разработки продолжают делать виртуальную реальность более жизнеспособным коммерческим вариантом, но все еще остается ряд технических препятствий, которые необходимо преодолеть, особенно в области мобильной виртуальной реальности.
Ограниченный бюджет мощности
Наиболее очевидная и хорошо обсуждаемая проблема, с которой сталкиваются мобильные приложения виртуальной реальности, – это гораздо более ограниченный бюджет мощности и тепловые ограничения по сравнению с аналогичным настольным ПК. Запуск интенсивных графических приложений от батареи означает, что компоненты с низким энергопотреблением и эффективное использование энергии необходимы для продления срока службы батареи. Кроме того, близость обрабатывающего оборудования к пользователю означает, что тепловой баланс также не может быть увеличен. Для сравнения, мобильные устройства обычно работают с предельной мощностью менее 4 Вт, в то время как графический процессор виртуальной реальности для настольных ПК может легко потреблять 150 Вт или более.
Широко признано, что мобильная виртуальная реальность не будет соответствовать настольному оборудованию по мощности, но это не значит, что потребители не требуют иммерсивного 3D-опыта с четким разрешением и с высокой частотой кадров.
Широко признано, что мобильная виртуальная реальность не сможет сравниться с настольным оборудованием по чистой мощности, но это не означает, что потребители не будут требовать иммерсивного 3D-опыта с четким разрешением и с высокой частотой кадров, несмотря на более ограниченную мощность. бюджет. Между просмотром 3D-видео, изучением воссозданных мест на 360 градусов и даже играми есть еще множество вариантов использования, подходящих для мобильной виртуальной реальности.
Оглядываясь назад на ваш типичный мобильный SoC, можно заметить, что это создает дополнительные проблемы, которые реже осознаются. Несмотря на то, что мобильные SoC могут содержать приличный восьмиядерный процессор и некоторую значительную мощность графического процессора, эти чипы невозможно запустить на полную мощность из-за упомянутых ранее как энергопотребления, так и тепловых ограничений. В действительности ЦП в мобильном экземпляре виртуальной реальности хочет работать как можно меньше времени, освобождая графический процессор для использования большей части ограниченного бюджета мощности. Это не только ограничивает ресурсы, доступные для игровой логики, вычислений физики и даже фоновых мобильных процессов, но также накладывает бремя на важные задачи VR, такие как вызовы отрисовки для стереоскопического рендеринга.
Индустрия уже работает над решениями для этого, которые применимы не только к мобильным устройствам. Многоканальный рендеринг поддерживается в OpenGL 3.0 и ES 3.0 и был разработан участниками из Oculus, Qualcomm, Nvidia, Google, Epic, ARM и Sony. Multiview позволяет выполнять стереоскопический рендеринг с помощью всего одного вызова отрисовки, а не одного для каждой точки обзора, что снижает требования к ЦП, а также сокращает работу вершин графического процессора. Эта технология может улучшить производительность от 40 до 50 процентов. В мобильной сфере Multiview уже поддерживается рядом устройств ARM Mali и Qualcomm Adreno.
Еще одно нововведение, которое, как ожидается, появится в будущих мобильных VR-продуктах, – это желаемый рендеринг. Используемый в сочетании с технологией отслеживания глаз, ямочный рендеринг снижает нагрузку на графический процессор, отображая только точную фокусную точку пользователя с полным разрешением и уменьшая разрешение объектов периферийного зрения. Он прекрасно дополняет систему человеческого зрения и может значительно снизить нагрузку на графический процессор, тем самым экономя электроэнергию и / или высвобождая больше энергии для других задач ЦП или ГП.
Пропускная способность и высокое разрешение
Хотя вычислительная мощность в мобильных VR-ситуациях ограничена, платформа по-прежнему подчиняется тем же требованиям, что и другие платформы виртуальной реальности, включая требования к дисплеям с низкой задержкой и высоким разрешением. Даже те, кто смотрел дисплеи VR с разрешением QHD (2560 x 1440) или разрешением 1080 x 1200 на глаз гарнитуры Rift, вероятно, были немного не в восторге от четкости изображения. Сглаживание особенно проблематично, учитывая, что наши глаза находятся так близко к экрану, а края выглядят особенно грубыми или неровными во время движения.
Хотя вычислительная мощность в мобильных VR-ситуациях ограничена, платформа по-прежнему подчиняется тем же требованиям, что и другие платформы виртуальной реальности, включая требования к дисплеям с низкой задержкой и высоким разрешением.
Решение грубой силы – увеличить разрешение дисплея, и 4K станет следующим логическим шагом. Однако устройства должны поддерживать высокую частоту обновления независимо от разрешения, при этом 60 Гц считается минимальным, но 90 или даже 120 Гц являются гораздо более предпочтительными. Это создает большую нагрузку на системную память, от двух до восьми раз больше, чем у современных устройств. Пропускная способность памяти уже более ограничена в мобильной виртуальной реальности, чем в настольных продуктах, которые используют более быструю выделенную графическую память, а не общий пул.
Возможные решения для экономии пропускной способности графики включают использование технологий сжатия, таких как ARM и стандарт AMD Adaptive Scalable Texture Compression (ASTC) или формат сжатия текстур Ericsson без потерь, оба из которых являются официальными расширениями OpenGL и OpenGL ES. ASTC также поддерживается аппаратно в последних графических процессорах Mali от ARM, SoC от Nvidia Kepler и Maxwell Tegra и новейших интегрированных графических процессорах Intel, и в некоторых сценариях позволяет сэкономить более 50% полосы пропускания по сравнению с использованием несжатых текстур.
Использование сжатия текстур может значительно снизить пропускную способность, время ожидания и память, необходимые для 3D-приложений. Источник – АРМ.
Могут быть реализованы и другие методы. Использование тесселяции позволяет создавать более детализированную геометрию из более простых объектов, хотя и требует некоторых других значительных ресурсов графического процессора. Отложенный рендеринг и прямое уничтожение пикселей позволяют избежать рендеринга закрытых пикселей, в то время как архитектуры биннинга / мозаики могут использоваться для разделения изображения на более мелкие сетки или плитки, которые отображаются отдельно, и все это позволяет сэкономить на пропускной способности.
В качестве альтернативы или предпочтительно дополнительно разработчики могут принести в жертву качество изображения, чтобы снизить нагрузку на пропускную способность системы. Можно пожертвовать плотностью геометрии или использовать более агрессивную отбраковку для уменьшения нагрузки, а разрешение данных вершин можно снизить до 16 бит по сравнению с традиционно используемой 32-битной точностью. Многие из этих методов уже используются в различных мобильных пакетах, и вместе они могут помочь снизить нагрузку на полосу пропускания.
Память не только является основным ограничением в области мобильной виртуальной реальности, но также является довольно большим потребителем энергии, часто равным потреблению ЦП или графического процессора. Благодаря экономии на пропускной способности и использовании памяти портативные решения виртуальной реальности должны работать от батареи дольше.
Низкая задержка и панели дисплея
Говоря о проблемах с задержкой, до сих пор мы видели только гарнитуры VR с OLED-дисплеями, и это в основном связано с быстрым временем переключения пикселей менее миллисекунды. Исторически сложилось так, что ЖК-дисплей был связан с проблемами ореолов из-за очень высокой частоты обновления, что делало их довольно непригодными для VR. Однако ЖК-панели с очень высоким разрешением по-прежнему дешевле в производстве, чем эквиваленты OLED, поэтому переход на эту технологию может помочь снизить цены на гарнитуры VR до более доступного уровня.
Задержка движения к фотону должна быть меньше 20 мс. Это включает в себя регистрацию и обработку движения, обработку графики и звука, а также обновление дисплея.
Дисплеи – особенно важная часть общей задержки системы виртуальной реальности, часто делая разницу между кажущимся и некачественным опытом. В идеальной системе задержка между движением и фотонами – время между движением головы и срабатыванием дисплея – должна составлять менее 20 миллисекунд. Ясно, что дисплей 50 мс здесь не годится. В идеале панели должны быть менее 5 мс, чтобы учесть задержку датчика и обработки.
В настоящее время существует компромисс между стоимостью и производительностью в пользу OLED, но вскоре это может измениться. ЖК-панели с поддержкой более высокой частоты обновления и низкого времени отклика от черного к белому, в которых используются самые современные технологии, такие как мигающая задняя подсветка, вполне могут удовлетворить эти требования. Japan Display продемонстрировала именно такую панель в прошлом году, и мы можем увидеть, что другие производители также анонсируют аналогичные технологии.
Аудио и датчики
Хотя большая часть общих тем о виртуальной реальности вращается вокруг качества изображения, иммерсивная виртуальная реальность также требует высокого разрешения, пространственно точного трехмерного звука и датчиков с низкой задержкой. В мобильной сфере все это должно выполняться в рамках того же ограниченного бюджета мощности, который влияет на ЦП, графический процессор и память, что создает дополнительные проблемы.
Ранее мы уже касались проблем с задержкой сенсора, при которой движение должно регистрироваться и обрабатываться как часть предела задержки движения до фотонов менее 20 мс. Если учесть, что гарнитуры VR используют 6 градусов движения – вращение и рыскание по каждой из осей X, Y и Z – плюс новые технологии, такие как отслеживание взгляда, есть значительный объем постоянных данных для сбора и обработки, причем с минимальными затратами. задержка.
Решения, позволяющие максимально снизить эту задержку, в значительной степени требуют комплексного подхода, при котором оборудование и программное обеспечение могут выполнять эти задачи параллельно. К счастью для мобильных устройств, очень распространены специальные процессоры датчиков с низким энергопотреблением и технология постоянного включения, которые работают с довольно низким энергопотреблением.
Что касается звука, трехмерное положение – это техника, давно используемая в играх и т.п., но использование передаточной функции, связанной с головкой (HRTF) и сверточной обработки реверберации, которые требуются для реалистичного позиционирования источника звучания, являются довольно интенсивными задачами для процессора. Хотя они могут выполняться на центральном процессоре, специальный процессор цифровых сигналов (DSD) может выполнять эти типы процессов гораздо более эффективно, как с точки зрения времени обработки, так и с точки зрения мощности.
Комбинируя эти функции с уже упомянутыми требованиями к графике и дисплею, становится ясно, что использование нескольких специализированных процессоров является наиболее эффективным способом удовлетворить эти потребности. Мы видели, как Qualcomm в значительной степени использует гетерогенные вычислительные возможности своих флагманских и новейших мобильных платформ Snapdragon среднего уровня, которые объединяют различные блоки обработки в единый пакет с возможностями, которые хорошо подходят для удовлетворения многих из этих потребностей мобильной виртуальной реальности. Скорее всего, мы увидим мощность такого типа пакетов в ряде мобильных VR-продуктов, включая автономное портативное оборудование.
Разработчики и софт
Наконец, ни одно из этих аппаратных усовершенствований не принесет пользы без программных пакетов, игровых движков и SDK для поддержки разработчиков. В конце концов, мы не можем позволить каждому разработчику изобретать велосипед для каждого приложения. Снижение затрат на разработку и максимальную скорость является ключевым моментом, если мы собираемся увидеть широкий спектр приложений.
SDK, в частности, необходимы для реализации ключевых задач обработки VR, таких как асинхронное искажение времени, коррекция искажения линзы и стереоскопический рендеринг. Не говоря уже об управлении питанием, температурой и обработкой в разнородных аппаратных системах.
К счастью, все основные производители аппаратных платформ предлагают SDK разработчикам, хотя рынок довольно фрагментирован, что приводит к отсутствию кроссплатформенной поддержки. Например, у Google есть свой VR SDK для Android и специальный SDK для популярного движка Unity, а у Oculus есть свой Mobile SDK, созданный совместно с Samsung для Gear VR. Важно отметить, что группа Khronos недавно представила свою инициативу OpenXR, целью которой является предоставление API для охвата всех основных платформ как на уровне устройств, так и на уровне приложений, чтобы упростить кроссплатформенную разработку. OpenXR может увидеть поддержку в своем первом устройстве виртуальной реальности где-то до 2018 года.
Заворачивать
Несмотря на некоторые проблемы, технология находится в стадии разработки и в некоторой степени уже здесь, что делает мобильную виртуальную реальность пригодной для использования в ряде приложений. Мобильная виртуальная реальность также имеет ряд преимуществ, которые просто не применимы к настольным аналогам, что по-прежнему будет делать ее платформой, достойной инвестиций и интриги. Фактор портативности делает мобильную виртуальную реальность привлекательной платформой для мультимедийных развлечений и даже легких игр без необходимости подключения проводов к более мощному ПК.
Кроме того, огромное количество мобильных устройств на рынке, которые все чаще оснащаются возможностями виртуальной реальности, делает эту платформу предпочтительной для охвата самой большой целевой аудитории. Если виртуальная реальность должна стать основной платформой, ей нужны пользователи, а мобильные устройства – это самая большая база пользователей, которую можно использовать.
Источник записи: https://www.androidauthority.com