Что движет камерой Snapdragon 865? Два гигапикселя.
Два гигапикселя в секунду. Эта спецификация может показаться относительно произвольным улучшением в серии Qualcomm Snapdragon 865, но это главная движущая сила большинства новых функций камеры Snapdragon 865.
У меня был момент, чтобы поговорить с Джаддом Хипом из Qualcomm, старшим директором по управлению продуктами для камеры в Qualcomm, чтобы поговорить о новых возможностях.
Как Qualcomm это делает?
Достижение двух гигапикселей в секунду – непростое дело. Spectra ISP в Snapdragon 855 может достигать 1,4 гигапикселя в секунду, поэтому скачок на 40% кажется большим делом, особенно когда речь идет о термиках. И хотя обычно вам нужно увеличить тактовую частоту, чтобы повысить производительность, Qualcomm решила поступить наоборот.
«Мы знали, что не можем просто продолжать увеличивать частоту», – объяснил Хип. «Вы не можете войти в множественную вселенную частот и при этом оставаться термически жизнеспособными. Так что теперь вместо обработки одного пикселя за раз, каждый такт мы обрабатываем четыре ».
Вместо того, чтобы увеличивать мощность провайдера для обработки большего количества тактов, Qualcomm немного снижает тактовую частоту и обрабатывает четыре пикселя за такт вместо одного. Это приводит к повышению энергоэффективности на 16% и большему объему данных за такт, что жизненно важно для разработки камер с более высоким разрешением и лучшего ИИ. Если раньше царила чистая тактовая частота, Qualcomm нашла новое применение в многопиксельной обработке.
Этот сдвиг значительно ускорит текущие датчики камеры. Но как насчет технологий будущего? Для этого Qualcomm нацеливается на сверхвысокое разрешение.
Огромные 200-мегапиксельные фотографии
При всей этой дополнительной пропускной способности Qualcomm смотрит на будущее технологии обработки изображений. Хотя я бы сказал, что размер фотосайта и размер сенсора намного важнее строгих мегапикселей, емкость сенсоров с более высоким разрешением позволяет делать такие вещи, как фотографии и видео с более высоким разрешением.
«200MP – это следующий логический шаг для quad-CFA», – сказал Хип. «В будущем он может даже превратиться в 8 × 8 или 16 × 16. Прямо сейчас мы работаем с партнерами над датчиком 200MP ».
Quad-CFA – это технология, которая в настоящее время используется для объединения пикселей для лучшего сбора света. Матрица фильтров CFA или камеры принимает группы пикселей для захвата большего количества света для лучшего изображения, а датчик 200MP с биндингом Quad-CFA будет создавать изображения 50MP. Если предположить, что в будущем станут популярными CFA 8 × 8, изображение будет увеличено до 25MP, но будет иметь гораздо больший эффективный фотосайт, что приведет к лучшим изображениям, особенно в неидеальных условиях освещения.
Без обработки двух гигапикселей в секунду датчик 200MP будет страдать от отвлекающей задержки срабатывания затвора. Чем быстрее интернет-провайдер обработает данные, тем быстрее вы сможете вернуться к фотосъемке. Для ODM, которые предпочли бы использовать датчики с более низким разрешением, концепция задержки срабатывания затвора должна уйти в прошлое.
Что-то еще, что дает эта новая скорость, – это лучший автофокус. Теперь точки автофокусировки могут покрывать весь кадр, чтобы покрыть область в девять раз больше, чем раньше. Это должно помочь вам намного быстрее привязать фотографии к вашему объекту, а также значительно улучшить качество видео.
Лучшее видео идет
Благодаря обработке двух гигапикселей в секунду Qualcomm может записывать с несколькими новыми разрешениями и частотой кадров. Вы можете делать 8K со скоростью 30 кадров в секунду, 4K со скоростью 120 кадров в секунду или даже 720p со скоростью 960 кадров в секунду в течение продолжительных периодов времени.
Это открывает мир новых возможностей видео в смартфонах. Камеры 8K и камеры с суперзамедленной съемкой в настоящее время доступны только тем, у кого глубокие карманы, и, хотя качество смартфона в ближайшее время не будет соответствовать качеству кинокамеры, художественное творчество, возможно, важнее, чем сырое качество.
Каждая из этих комбинаций разрешения / частоты кадров требует для обработки примерно одинаковой пропускной способности данных. 8K при 30 кадрах в секунду примерно эквивалентно 4k при 120 кадрах в секунду, и вы даже можете разделить работу на два потока 4K 60 кадров в секунду. Теперь можно снимать в высоком качестве с передней и задней или основной и широкоугольной камерой со скоростью 60 кадров в секунду. Не исключено, что Qualcomm сможет разделить потоковую обработку в будущем, чтобы обеспечить запись с четырех или более камер одновременно.
Что касается замедленного воспроизведения, видео с частотой 960 кадров в секунду было сделано раньше. Разница здесь в том, что в старых приложениях вы могли сделать только короткую серию видео со скоростью 960 кадров в секунду, прежде чем вам пришлось бы останавливаться. С Snapdragon 865 вы можете снимать непрерывное видео 720p 960fps столько, сколько захотите. Экономия энергии здесь на самом деле очень важна, и вам обычно нужна огромная специализированная камера с сумасшедшим охлаждением, чтобы получать стабильно видео с высокой частотой кадров.
«Смартфоны начинают заменять камеры», – продолжил Хип. «Они уже предназначены для цифровых зеркальных фотокамер для видео, а не только для моментальных снимков».
8K готов
Одна из больших проблем, которую Qualcomm хотела решить с помощью Snapdragon 865, – это видео 8K. Поскольку телевизоры 8K становятся все более популярными, Qualcomm хотела сделать так, чтобы люди могли снимать кадры 8K на свои смартфоны для просмотра на телевизорах 8K. Для людей, которые хотят снимать замедленную съемку, новый интернет-провайдер также решает эту проблему.
«8K кажется следующим логическим шагом», – сказал Хип. «Мы хотим, чтобы клиенты записывали 8K-контент на свои устройства, чтобы они могли просматривать его на телевизоре».
Не пропустите: Samsung Galaxy S11 получит 108-мегапиксельную камеру с видео 8K?
Это также подчеркивает улучшенную энергоэффективность Qualcomm в Snapdragon 865. Хотя эта выгода в 16% не кажется большой, она очень помогает, когда вы перекачиваете так много данных через процессор.
Что еще использует много данных? Искуственный интеллект.
Камера Snapdragon 865 ускоряет обработку AI
Новый процессор Qualcomm Hexagon 698 DSP оценивается в два раза быстрее, чем предыдущее поколение. Это полезно для продвинутых методов вычислительной фотографии, таких как семантическая сегментация. Камера может различать части сцены, такие как кожа, одежда и многое другое, и применять разные фильтры к каждому материалу, чтобы он выглядел наилучшим образом.
Этот вид обработки является интенсивным и требует для работы большого количества тензорных ядер. С новой скоростью, обеспечиваемой обработкой AI, изображения могут начать выглядеть намного лучше прямо из камеры. Нет необходимости редактировать в посте.
Одна вещь, которую эта новая спецификация ставит под сомнение, – это полезность Google Pixel Visual Core. Этот процессор специально разработан для обработки тензорных рабочих процессов искусственного интеллекта, и с учетом того, что Qualcomm догоняет по скорости и возможностям, он заставляет задуматься, нужен ли Google еще собственный тензорный ускоритель.
Учитывая все это, похоже, что будущее интернет-провайдеров будет за мультипиксельной обработкой. Еще неизвестно, увидим ли мы, что Qualcomm расширяется еще дальше, чтобы обрабатывать восемь или даже больше пикселей за такт, но этот процесс, похоже, может значительно ускорить обработку изображений. Два гигапикселя – это уже большой скачок, но следующий год может оказаться еще интереснее.
Источник записи: https://www.androidauthority.com