Как работают камеры смартфонов – объясняет Гэри

Теперь, когда смартфоны в основном пришли на смену камерам типа «наведи и снимай», мобильные компании изо всех сил пытаются конкурировать там, где безраздельно правили старые гиганты обработки изображений. Фактически, смартфоны полностью свергнули с престола самые популярные производители фотоаппаратов в фото-сообществах в целом, такие как Flickr: и это большое дело.

Но как узнать, какие камеры хорошие? Как работают эти крошечные камеры и как они, казалось бы, выжимают кровь из камня, чтобы получать хорошие снимки? Ответ – множество действительно впечатляющих инженерных решений и устранение недостатков крошечных размеров сенсора камеры.

Как работает камера?

Имея это в виду, давайте рассмотрим, как работает камера. Процесс одинаков как для зеркальных фотоаппаратов, так и для камер смартфонов, поэтому давайте углубимся:

1. Пользователь (или смартфон) фокусирует объектив
2. Свет попадает в объектив
3. Диафрагма определяет количество света, попадающего на датчик.
4. Затвор определяет, как долго датчик находится на свету.
5. Датчик фиксирует изображение
6. Аппаратное обеспечение камеры обрабатывает и записывает изображение

Большинство элементов в этом списке обрабатываются относительно простыми машинами, поэтому их производительность определяется законами физики. Это означает, что есть некоторые наблюдаемые явления, которые довольно предсказуемо повлияют на ваши фотографии.

Для смартфонов большинство проблем возникает на шагах со второго по четвертый, потому что объектив, диафрагма и сенсор очень малы и, следовательно, менее способны получать свет, необходимый для получения нужной фотографии. Часто приходится идти на компромисс, чтобы получить полезные снимки.

Что делает фотографию хорошей?

Мне всегда нравилась метафора фотографии «ведро дождя», которая объясняет, что должна делать камера, чтобы правильно экспонировать снимок. Из Кембриджа в цвете :

Достижение правильной экспозиции во многом похоже на сбор дождя в ведре. Хотя количество осадков не поддается контролю, три фактора остаются под вашим контролем: ширина ведра, время, в течение которого вы его оставляете под дождем, и количество дождя, которое вы хотите собрать. Вам просто нужно убедиться, что вы не собираете слишком мало («недоэкспонировано»), но и не собираете слишком много («переэкспонировано»). Ключевым моментом является то, что существует множество различных комбинаций ширины, времени и количества, которые позволят достичь этого … В фотографии параметры экспозиции, такие как диафрагма, выдержка и чувствительность ISO, аналогичны ширине, времени и количеству, описанным выше. Кроме того, как количество осадков было вне вашего контроля, так и естественный свет для фотографа.

Когда мы говорим о «хорошей» или «пригодной для использования» фотографии, мы обычно говорим о кадре, который был правильно экспонирован – или, как в метафоре выше, о ведре от дождя, наполненном тем количеством воды, которое вы хотите. Однако вы, вероятно, заметили, что позволить автоматическому режиму камеры вашего телефона обрабатывать все настройки здесь – своего рода азартная игра: иногда вы получаете много шума, иногда вы получаете темный снимок или размытый снимок., Что дает? Если отвлечься от угла обзора смартфона, полезно понять, что означают непонятные цифры в технических характеристиках, прежде чем мы продолжим.

Как фокусируется камера?

Хотя глубина резкости в кадре камеры смартфона обычно очень велика (что позволяет очень легко держать объекты в фокусе), самое первое, что вам нужно сделать, это переместить фокусирующий элемент в правильное положение, чтобы сделать снимок, который вы хотеть. Если вы не используете такой телефон, как первый Moto E, в вашем телефоне есть блок автофокусировки. Для краткости мы классифицируем здесь три основные технологии по производительности.

1. Двухпиксельная
   автофокусировка Двухпиксельная автофокусировка – это форма фокусировки с определением фазы, при которой используется гораздо большее количество точек фокусировки по всему датчику, чем при традиционной автофокусировке с определением фазы. Вместо выделенных пикселей для фокусировки каждый пиксель состоит из двух фотодиодов, которые могут сравнивать тонкие разности фаз (несоответствие в том, сколько света достигает противоположных сторон датчика), чтобы вычислить, куда переместить линзу, чтобы сфокусировать изображение., Поскольку размер выборки намного больше, камера также может быстрее сфокусировать изображение. Это, безусловно, самая эффективная технология автофокусировки на рынке.
2. Обнаружение фазы
   Как и двухпиксельная автофокусировка, обнаружение фазы работает с использованием фотодиодов на датчике для измерения разницы фаз на датчике, а затем перемещает фокусирующий элемент в объективе, чтобы сфокусировать изображение. Однако вместо большого количества пикселей он использует специальные фотодиоды, что означает, что он потенциально менее точен и определенно менее быстр. Вы не заметите особой разницы, но иногда доли секунды – это все, что нужно, чтобы пропустить идеальный снимок.
3. Обнаружение контраста Самая старая технология из трех, обнаружение контраста измеряет области сенсора и приводит в движение мотор фокусировки до тех пор, пока не будет достигнут определенный уровень контраста от пикселя к пикселю. Теория, лежащая в основе этого: жесткие, сфокусированные края будут считаться высококонтрастными, так что это неплохой способ для компьютера интерпретировать изображение как «в фокусе». Но перемещение элемента фокуса до достижения максимального контраста происходит медленно.

Что в линзе?

Распаковка чисел в спецификации может быть сложной задачей, но, к счастью, эти концепции не так сложны, как может показаться. Основной фокус (обводка) этих чисел обычно включает фокусное расстояние, диафрагму и выдержку. Поскольку смартфоны избегают механических затворов в пользу электронных, давайте начнем с первых двух пунктов в этом списке.

В этих небольших объективах камеры много действительно впечатляющих инженерных решений.

Хотя фактическое объяснение фокусного расстояния более сложно, в фотографии оно относится к углу зрения, эквивалентному 35-мм полнокадровому стандарту. Хотя камера с небольшим сенсором может на самом деле не иметь фокусного расстояния 28 мм, если вы видите это, указанное в спецификации, это означает, что изображение, которое вы получаете на этой камере, будет иметь примерно такое же увеличение, как у полнокадровой камеры с Объектив 28 мм. Чем больше фокусное расстояние, тем более «увеличенным» будет ваш снимок; и чем он короче, тем он «шире» или «уменьшен». Большинство человеческих глаз имеют фокусное расстояние примерно50 мм, поэтому, если бы вы использовали объектив 50 мм, любой сделанный вами снимок имел бы примерно такое же увеличение, как и то, что вы видите обычно. Все, что имеет меньшее фокусное расстояние, будет казаться более уменьшенным, все, что больше, будет увеличено.

Википедия Чем больше диафрагма, тем меньше-ступень.

Теперь о диафрагме: механизме, который ограничивает количество света, проходящего через объектив в саму камеру, чтобы контролировать то, что называется глубиной резкости, или областью плоскости, которая появляется в фокусе. Чем больше ваша диафрагма закрыта, тем больше вашего снимка будет в фокусе, и чем больше он открыт, тем меньше всего вашего изображения будет в фокусе. Широко открытые диафрагмы ценятся в фотографии, потому что они позволяют делать снимки с приятно размытым фоном, выделяя объект, в то время как узкие диафрагмы отлично подходят для таких вещей, как макросъемка, пейзажи и т.д.

Так что же означают цифры? Как правило, чем ниже -ступень, тем шире диафрагма. Это потому, что то, что вы читаете, на самом деле является математической функцией. -Ступень – это отношение фокусного расстояния к отверстию диафрагмы. Например, объектив с фокусным расстоянием 50 мм и отверстием 10 мм будет указан как ƒ / 5. Это число сообщает нам очень важную информацию: сколько света попадает на датчик. Когда вы сужаете диафрагму до полной «ступени» – или степени квадратного корня из 2 (от / 2 до / 2,8, от / 4 до / 5,8 и т.д.) – вы уменьшите вдвое площадь сбора света.

Более широкая диафрагма (слева) имеет малую глубину резкости, а узкая диафрагма (справа) дает большую глубину резкости; вы можете увидеть больше фона.

Однако одно и то же относительное отверстие на сенсорах разного размера не пропускает одинаковое количество света. Вычислив размер диагонали кадра 35 мм и разделив его на размер диагонали вашего сенсора, вы можете примерно рассчитать, сколько ступеней вам нужно, чтобы увеличить-число на вашей полнокадровой камере, чтобы увидеть, какая у вас глубина резкости. будет выглядеть на вашем смартфоне. В случае iPhone 6S (диагональ сенсора ~ 8,32 мм) – с диафрагмой 2.2 / 2,2 – его глубина резкости примерно равна той, которую вы бы видели в полнокадровой камере, установленной на / 13 или ƒ / 14. Если вы знакомы со снимками, которые делает iPhone 6S, вы знаете, что это означает очень небольшое размытие фона.

Электронные жалюзи

После диафрагмы скорость затвора является следующей важной настройкой экспозиции, которую нужно правильно настроить. Если вы сделаете это слишком медленно, вы получите размытые изображения, а слишком быстро – рискуете недоэкспонировать снимок. Хотя эта настройка поддерживается большинством смартфонов, она в любом случае заслуживает обсуждения, чтобы вы понимали, что может пойти не так.

Так же, как и диафрагма, выдержка обозначается «стопами» или настройками, которые отмечают увеличение или уменьшение светосилы в 2 раза. Экспозиция 1/30 секунды – это на целую ступень ярче, чем 1/60 секунды. выдержка и так далее. Поскольку основная переменная, которую вы здесь изменяете, – это время, в течение которого датчик записывает изображение, все ошибки при выборе неправильной экспозиции связаны с записью изображения слишком долго или слишком коротко. Например, медленная скорость затвора может привести к размытию движения, в то время как высокая скорость затвора, по-видимому, остановит действие на своем пути.

Поскольку основная переменная, которую вы здесь изменяете, – это время, в течение которого датчик записывает изображение, все ошибки при выборе неправильной экспозиции связаны с записью изображения слишком долго или слишком коротко.

Учитывая, что смартфоны – очень крошечные устройства, неудивительно, что последняя часть механической камеры перед датчиком – затвор – была исключена в их конструкции. Вместо этого они используют так называемый электронный затвор (E-shutter) для экспонирования ваших фотографий. По сути, ваш смартфон скажет датчику записать вашу сцену в течение заданного времени, записывая ее сверху вниз. Хотя это неплохо для экономии веса, есть компромиссы. Например, если вы снимаете быстро движущийся объект, датчик запишет его в разные моменты времени (из-за скорости считывания), наклоняя объект на вашей фотографии.

Выдержка обычно первое, что камера настраивает при слабом освещении, но другая переменная, которую она попытается отрегулировать, – это чувствительность – в основном потому, что если выдержка слишком длинная, даже дрожания рук будет достаточно, чтобы вы фото размыто. Некоторые телефоны будут иметь механизм компенсации, называемый оптической стабилизацией, для борьбы с этим: перемещая датчик или линзы определенным образом, чтобы противодействовать вашим движениям, он может частично устранить эту размытость.

Что такое чувствительность камеры?

Регулируя чувствительность камеры (ISO), вы сообщаете камере, насколько она должна усилить записываемый сигнал, чтобы полученное изображение получилось достаточно ярким. Однако прямым следствием этого является повышенный дробовой шум.

Вы когда-нибудь смотрели на сделанную фотографию, но на ней повсюду множество разноцветных точек или зернистых ошибок? Это выражение пуассоновского шума. По сути, то, что мы воспринимаем как яркость на фотографии, – это относительный уровень фотонов, попадающих на объект и регистрируемых датчиком. Чем меньше количество фактического света, падающего на объект, тем больше датчику необходимо применить усиление для создания достаточно «яркого» изображения. Когда это произойдет, крошечные вариации в показаниях пикселей станут более экстремальными, что сделает шум более заметным.

Это основная причина зернистости изображений, но она может быть вызвана такими вещами, как тепло, электромагнитные (ЭМ) помехи и другие источники. Вы можете ожидать определенного снижения качества изображения, например, если ваш телефон перегревается. Если вы хотите, чтобы на фотографиях было меньше шума, лучше всего взять камеру с большим сенсором, потому что она может захватывать больше света за один раз. Больше света означает меньшее усиление, необходимое для создания изображения, а меньшее усиление означает меньше общего шума.

Как вы понимаете, датчик меньшего размера, как правило, отображает больше шума из-за более низкого уровня света, который он может собирать. Вашему смартфону намного сложнее сделать качественный снимок с тем же количеством света, чем для более серьезной камеры, потому что он должен применять гораздо большее усиление в большем количестве ситуаций, чтобы получить сопоставимый результат, что приводит к более шумным снимкам.

Слева снимок с низкой чувствительностью показывает хорошие детали. Справа алгоритм шумоподавления удаляет детали с фотографии, сделанной с большим усилением.

Камеры обычно пытаются бороться с этим на этапе обработки, используя так называемый «алгоритм шумоподавления», который пытается идентифицировать и удалять шум с ваших фотографий. Хотя ни один алгоритм не является идеальным, современное программное обеспечение отлично справляется с очисткой снимков (учитывая все обстоятельства). Однако иногда чрезмерно агрессивные алгоритмы могут случайно снизить резкость. Если шума достаточно или ваш снимок расплывчатый, алгоритму будет сложно определить, что является нежелательным шумом, а что является критической деталью, что приводит к получению пятнистых фотографий.

Больше мегапикселей, больше проблем

Когда люди сравнивают камеры, в бренде выделяется число мегапикселей (1 048 576 отдельных пикселей), которое имеет продукт. Многие считают, что чем больше мегапикселей, тем больше разрешение, и, следовательно, тем «лучше». Однако эта спецификация вводит в заблуждение, потому что размер пикселя имеет большое значение.

Сравнивая размеры сенсора смартфона (в масштабе) с полнокадровым сенсором, легко понять, почему у него проблемы с получением достаточного количества света.

Датчики современных цифровых фотоаппаратов на самом деле представляют собой просто массивы из многих миллионов даже более мелких датчиков камеры. Однако существует обратная зависимость между количеством пикселей и размером пикселя для данной области датчика: чем больше пикселей вы втиснете, тем они меньше и, следовательно, менее способны собирать свет. Полнокадровый сенсор с площадью собирающей свет поверхности около 860 квадратных миллиметров всегда сможет собирать больше света с тем же разрешением сенсора, что и сенсор iPhone 6S с квадратным миллиметром ~ 17 квадратных миллиметров, потому что его пиксели будут намного больше (примерно 72 мкм по сравнению с 1,25 мкм для 12 МП).

С другой стороны, если вы можете сделать отдельные пиксели относительно большими, вы сможете собирать свет более эффективно, даже если общий размер вашего сенсора не такой уж и большой. Итак, если это так, сколько мегапикселей достаточно? Намного меньше, чем вы думаете. Например, кадр из видео 4K UHD составляет примерно 8MP, а видеоизображение в формате Full HD – всего около 2MP на кадр.

Но есть преимущество в небольшом увеличении разрешения. Теорема Найквиста учит нас, что изображение будет выглядеть значительно лучше, если мы запишем его в два раза больше максимальных размеров предполагаемого носителя. Имея это в виду, фотография 5 × 7 дюймов с качеством печати (300 точек на дюйм) должна быть снята с разрешением 3000 x 4200 пикселей для достижения наилучших результатов, или около 12 МП. Звучит знакомо? Это одна из многих причин, по которым Apple и Google, похоже, остановились на 12-мегапиксельном датчике: его разрешения достаточно для передискретизации большинства распространенных размеров фотографий, но достаточно низкого разрешения, чтобы справиться с недостатками небольшого датчика.

После того, как выстрел сделан

Когда ваша камера сделает снимок, смартфон должен понять все, что он только что снял. По сути, теперь процессор должен собрать воедино всю информацию, записанную пикселями сенсора, в мозаику, которую большинство людей просто называют «картинкой». Хотя это звучит не слишком увлекательно, работа немного сложнее, чем просто записать значения интенсивности света для каждого пикселя и выгрузить их в файл.

Первый шаг называется «мозаикой», или собирать все вместе. Вы можете этого не осознавать, но изображение, которое видит датчик, перевернуто, перевернуто и разделено на различные области красного, зеленого и синего цветов. Поэтому, когда процессор камеры пытается разместить показания каждого пикселя в правильном месте, он должен разместить их в определенном порядке, понятном для нас. С цветным фильтром Байера это просто: пиксели имеют мозаичный узор из определенных длин волн света, за которые они отвечают, что делает простой задачей интерполировать недостающие значения между одинаковыми пикселями. Для любой недостающей информации камера будет смешивать значения цвета на основе показаний окружающих пикселей, чтобы заполнить пробелы.

Но датчики камеры – это не человеческие глаза, и им может быть сложно воссоздать сцену в том виде, в котором мы ее помним, когда сделали снимок. Снимки, сделанные прямо с камеры, на самом деле довольно скучные. Цвета будут выглядеть немного приглушенными, края не будут такими резкими, как вы могли бы помнить, а размер файла будет огромным (так называемый файл RAW). Очевидно, это не то, чем вы хотите поделиться со своими друзьями, поэтому большинство камер будут добавлять такие вещи, как дополнительная насыщенность цвета, увеличивать контраст по краям, чтобы снимок выглядел более резким, и, наконец, сжимать результат, чтобы файл было легко сохранить. и поделитесь.

Двойные камеры лучше?

Иногда!

Когда вы видите камеру, такую ​​как LG G6 или Huawei P10 с двумя камерами, это может означать одно из нескольких. В случае с LG это просто означает, что у него есть две камеры с разным фокусным расстоянием для широкоугольной и телефотосъемки.

Однако система Huawei более сложная. Вместо того, чтобы переключаться между двумя камерами, он использует систему из двух датчиков для создания одного изображения, комбинируя выходной цвет «нормального» датчика с дополнительным датчиком, записывающим монохромное изображение. Затем смартфон использует данные обоих изображений для создания конечного продукта с большей детализацией, чем может зафиксировать только один датчик. Это интересный обходной путь к проблеме наличия только ограниченного размера сенсора для работы, но он не делает идеальную камеру: только ту, которая имеет меньше информации для интерполяции (обсуждалось выше).

Хотя это всего лишь общие черты, дайте нам знать, если у вас есть более конкретный вопрос о визуализации. У нас есть несколько экспертов по камерам в штате, и мы хотели бы получить возможность получить более подробную информацию там, где есть интерес!

Чем больше диафрагма, тем меньше-ступень.

Более широкая диафрагма (слева) имеет малую глубину резкости, а узкая диафрагма (справа) дает большую глубину резкости; вы можете увидеть больше фона.

Когда вы увеличиваете чувствительность (ISO), вы увеличиваете вероятность появления шума на снимке, как это.

Слева снимок с низкой чувствительностью показывает хорошие детали. Справа снимок с высокой чувствительностью показывает шум, плохую детализацию.

Сравнивая размеры сенсора смартфона (в масштабе) с полнокадровым сенсором, легко понять, почему у него проблемы с получением достаточного количества света.

Источник записи: https://www.androidauthority.com