Pixel Visual Core: более пристальный взгляд на скрытый чип Pixel 2
Еще с запуском Google Pixel 2 и Pixel 2 XL выяснилось, что Google включил в телефон дополнительный чип наряду с основным процессором. Этот чип, известный как Pixel Visual Core, непосредственно нацелен на расширение возможностей обработки изображений в телефоне. Чип снова вернулся в последние версии Google Pixel 3 и 3 XL.
Согласно Google, вторичный чип предназначен для компиляции изображений HDR + в 5 раз быстрее, чем процессор приложений – с потребляемой мощностью в 1/10 части. Pixel Visual Core также обрабатывает сложные задачи обработки изображений и машинного обучения, связанные с камерой, которые, помимо прочего, включают автоматическую настройку изображения в зависимости от сцены.
Pixel Visual Core был включен в Pixel 2 с появлением предварительной версии Android 8.1 для разработчиков. Pixel Visual Core – это первая микросхема компании, специально разработанная для смартфонов, которая дает компании более жесткий контроль над возможностями своего телефона, чем когда-либо прежде.
Две SoC в одном телефоне
Машинное обучение и гетерогенный подход к вычислениям – использование специального оборудования для более эффективного выполнения определенных задач – не являются новыми концепциями в области смартфонов. Производители SoC, такие как Qualcomm, продвигают обработку в этом направлении в течение нескольких поколений и уже включают компоненты специального процессора сигналов изображения (ISP) и процессора цифровых сигналов (DSP) в свою флагманскую серию Snapdragon. Все это вы найдете в новых телефонах Pixel. Qualcomm уже нацеливает эти компоненты на энергоэффективное использование с задачами машинного обучения, обработки изображений и обработки данных. Очевидно, что Google хочет расширить или превзойти эти возможности.
Выбор автономного процессора – необычный выбор, предполагающий, что Google хочет серьезно расширить встроенные возможности DSP основного процессора.
Выбор Google в пользу дополнительного автономного блока обработки изображений (IPU) – необычный выбор. В идеале эти компоненты должны быть тесно интегрированы с ЦП и ГП, чтобы избежать проблем с задержкой при передаче данных в процессор и из него. Однако Google не может встроить какие-либо специальные микросхемы в дизайн Qualcomm, единственный вариант для нестандартного оборудования – это разработать вторичный автономный SoC для связи с основным процессором приложения, и это именно то, что делает Vision Core.
Взгляд внутрь Pixel Visual Core
Прежде чем даже взглянуть на возможности обработки нового ядра, есть несколько явных признаков его автономной конструкции. На плате есть оперативная память LPDDR4 для быстрого чтения и записи данных без обращения к основной памяти, а также подключение к шине PCIe для связи с внешним процессором. Один процессор Cortex-A53 передает входящие и исходящие сообщения основному процессору приложения.
Увеличенное изображение пиксельного визуального ядра
Что касается обработки изображений, то чип состоит из восьми ядер IPU. Google заявляет, что каждое из этих ядер состоит из 512 арифметико-логических блоков (ALU), что дает возможность выполнять более 3 триллионов операций в секунду в рамках бюджета мобильной мощности. Каждое ядро предназначено для общей функции машинного обучения – умножения-накопления. Для сравнения: ядро процессора Cortex-A73 внутри высокопроизводительного процессора мобильных приложений содержит только два базовых целочисленных блока, а также блоки загрузки / сохранения и FPU.
Даже с сильно оптимизированными расширениями SIMD вам повезет, если вы сможете максимизировать все эти возможности одновременно на ЦП. Выделенный массовый математический процессор просто будет быстрее выполнять определенные операции. Визуальное ядро специально разработано для выполнения массовых математических операций над миллионами пикселей изображения, поэтому этот тип настройки можно хорошо использовать для задач визуализации. Вкратце, Pixel Visual Core принимает большое количество пиксельных данных с камеры и вычисляет новые пиксели для получения наилучшего результата. ЦП должен иметь дело с более широким диапазоном возможных операций, поэтому дизайн 512 ALU не будет практичным или полезным для общих приложений.
Visual Core от Google с 512 ALU в каждом ядре IPU разработан для массовых параллельных вычислений, идеально подходит для обработки изображений и массовых нейронных сетей.
Google также заявляет, что ключевым элементом эффективности IPU является тесная связь аппаратного и программного обеспечения. Программное обеспечение Google для Pixel Visual Core, очевидно, может управлять гораздо большим количеством деталей оборудования, чем в обычном процессоре, что делает его довольно гибким и эффективным. Это связано с дорогостоящей сложностью программирования. Чтобы помочь разработчикам, для оптимизации используется специальный компилятор Google, а разработчики могут использовать Halide для обработки изображений и TensorFlow для машинного обучения.
Таким образом, Visual Core от Google может обрабатывать намного больше чисел и выполнять гораздо больше математических операций параллельно, чем ваш типичный процессор. Данные изображения с камеры, поступающие в виде 10-, 12- или 14-битных данных тона, распространяются по разрешению 12,2-мегапиксельной камеры Pixel 2, требуют широкой параллельной обработки цвета, уменьшения шума, повышения резкости и другой обработки данных. Не говоря уже о более новых и продвинутых HDR + и других алгоритмах. Этот очень широкий дизайн с тяжелым ALU также хорошо подходит для задач машинного обучения и нейронных сетей, которые также требуют обработки большого количества небольших чисел.
Возможности Google по обработке изображений
Google использует алгоритмы интенсивной обработки изображений уже несколько поколений, даже до появления Pixel Core. Эти алгоритмы работают быстрее и эффективнее при использовании специального оборудования Google.
В своем сообщении в блоге Google описал использование выравнивания и усреднения нескольких кадров изображений для создания изображений с высоким динамическим диапазоном из коротких серий изображений. Этот метод используется на всех последних телефонах Nexus и Pixel, которые поддерживают режим съемки HDR +. После раскрытия более подробной информации компания заявляет, что ее 28-нм Pixel Visual Core в 7-16 раз более энергоэффективен при выравнивании, слиянии и завершении задач, чем 10-нм мобильная SoC.
Google также использует алгоритмы машинного обучения и нейронной сети для других программных эффектов камеры. При создании эффекта глубины резкости с помощью одного датчика изображения сверточная нейронная сеть, обученная почти миллиону изображений лиц и тел, создает маску переднего плана и фонового содержимого. Это сочетается с данными карты глубины, рассчитанными на основе двойных пикселей автофокуса с определением фазы (PDAF), расположенных в датчике изображения, и стереофонических алгоритмов для дальнейшего обнаружения областей фона и степени размытия в зависимости от расстояния от переднего плана. На самом деле это часть, требующая большого объема вычислений. После того, как все это было собрано и рассчитано, дискообразное размытие боке применяется на каждом уровне глубины, чтобы завершить изображение.
Заворачивать
Впечатляющие результаты Google в области фотографии на смартфонах Pixel – главный аргумент компании. Очевидно, что компания вложила значительные средства не только в программные алгоритмы для улучшения качества изображения, но и в аппаратные решения. Pixel Visual Core, встроенный в новые пиксели, не только улучшит производительность и энергоэффективность существующих алгоритмов фотографии Google, но и со временем может включить совершенно новые функции.
Имея доступ к огромным объемам облачных данных и контента для обучения нейронных сетей, Google смогла предложить программное обеспечение для улучшения изображений, не имеющее аналогов у других производителей смартфонов. Внедрение собственного оборудования предполагает, что Google, возможно, уже пытается преодолеть ограничения оборудования, которое могут предложить другие компании. Индивидуальное аппаратное решение позволяет компании лучше адаптировать свои продукты к возможностям программного обеспечения. Решит ли Google расширить свою разработку оборудования на другие области обработки смартфонов в будущем, остается интересной и потенциально потрясающей отрасль перспективой.
Увеличенное изображение пиксельного визуального ядра
Источник записи: https://www.androidauthority.com