Google объясняет, как работает этот сумасшедший режим астрофотографии

Одной из самых впечатляющих функций Google Pixel 4 должен быть режим астрофотографии, позволяющий пользователям точно делать снимки звезд. Google ранее касался того, как это работает, но теперь компания опубликовала полное объяснение в своем блоге об искусственном интеллекте, и это делает его интересным для чтения.

Прежде всего, компания отмечает, что режим астрофотографии Pixel 4 позволяет делать выдержки продолжительностью до четырех минут. Эта функция также доступна в сериях Pixel 3 и Pixel 3a, но эти телефоны обеспечивают выдержку до одной минуты.

Google объясняет, что одна из самых больших проблем с длительным временем выдержки заключается в том, что оно может привести к значительному размытию.

«Зрители будут терпеть размытые в движении облака и ветви деревьев на фотографии, которая в остальном резкая, но размытые в движении звезды, которые выглядят как короткие отрезки линий, выглядят неправильно», – пояснила компания в блоге AI. «Чтобы смягчить это, мы разделили экспозицию на кадры с достаточно коротким временем выдержки, чтобы звезды выглядели как точки света».

Google обнаружил, что идеальное время экспозиции на кадр для съемки ночного неба составляет 16 секунд, поэтому он объединяет 15 кадров (каждый по 16 секунд), чтобы обеспечить четырехминутную общую экспозицию на Pixel 4. Конечные результаты, как показано на наши собственные образцы выше, могут быть довольно гладкими.

Еще четыре задачи

Компания также определила еще несколько препятствий при разработке режима астрофотографии Pixel 4, начиная с проблемы теплых / горячих пикселей.

При более длительной выдержке появляются теплые или горячие пиксели в виде крошечных ярких точек на изображении (даже если на самом деле ярких точек в сцене нет). Но Google заявляет, что может идентифицировать эти яркие точки, «сравнивая значение соседних пикселей» в кадре и во всех захваченных кадрах.

Как только он обнаруживает яркую точку, Google может скрыть ее, заменив ее значение на среднее значение соседних пикселей. Посмотрите на пример теплых или горячих пикселей на картинке слева и решение Google справа.

Вторая проблема, которую Google пришлось решить, когда дело касалось режима астрофотографии, – это композиция сцены. Видоискатель камеры телефона обычно обновляется 15 раз в секунду, но ночью это становится проблемой.

«При уровне освещенности ниже приблизительного эквивалента полной луны или около того, видоискатель становится в основном серым – может быть видно несколько ярких звезд, но не виден пейзаж – и создание кадра становится трудным», – объясняет Google. Решение компании – отображать последний отснятый кадр в режиме астрофотографии (посмотрите изображение справа).

«Затем композицию можно изменить, перемещая телефон во время экспозиции. Как только композиция будет правильной, можно остановить первоначальный снимок и сделать второй снимок, в котором все кадры имеют желаемую композицию ».

Автофокус – еще одна проблема, когда дело доходит до режима астрофотографии Pixel 4, так как из-за очень низкой освещенности зачастую невозможно найти что-либо, на чем можно было бы сфокусироваться. Решение Google – это так называемая техника «автофокусировки после спуска затвора». При этом после нажатия кнопки спуска затвора снимаются два кадра автофокусировки продолжительностью до секунды каждый, которые используются для обнаружения любых деталей, на которых стоит сфокусироваться (хотя эти кадры не используются для окончательного изображения). Фокус устанавливается на бесконечность, если автофокусировка после затвора по-прежнему ничего не может найти. Но вместо этого пользователи всегда могут вручную сфокусироваться на объекте.

Последним препятствием для Google является получение правильного уровня освещенности в небе: «Ночью мы ожидаем, что небо будет темным. Если на снимке, сделанном ночью, видно яркое небо, мы видим его как дневную сцену, возможно, с немного необычным освещением ».

Решение поискового гиганта – использовать машинное обучение, чтобы затемнить небо в условиях низкой освещенности. Google использует нейронную сеть на устройстве, обученную более чем 10 000 изображений, чтобы идентифицировать ночное небо, затемняя его. Способность обнаруживать небо также используется для уменьшения шума в небе и увеличения контрастности определенных объектов (например, облаков или Млечного Пути). Посмотрите на первоначальный результат слева и затемненный результат справа.

Все это вместе дает довольно фантастические результаты, которые мы обнаружили в нашем собственном тестировании.

«Для Pixel 4 мы использовали самую яркую часть Млечного Пути, около созвездия Стрельца, в качестве эталона качества изображений безлунного неба. По этим стандартам Night Sight работает очень хорошо », – заключили в компании. «Фотографии Млечного Пути демонстрируют некоторый остаточный шум, на них приятно смотреть, они показывают больше звезд и больше деталей, чем человек может увидеть, глядя на настоящее ночное небо».

Но Google отмечает, что пока не может адекватно снимать сцены при слабом освещении с чрезвычайно широким диапазоном яркости (например, лунный пейзаж и сама луна). Однако еще при запуске Pixel 4 компания намекнула на решение этой проблемы, так что это похоже на следующий шаг для Google.

Вы пробовали режим астрофотографии на Pixel 4 или более ранней версии Pixel? Поделитесь с нами своими мыслями ниже.

Источник записи: https://www.androidauthority.com