Лучшее из Android 2017: какая камера самая лучшая?

Последнее обновление Ноя 3, 2020

Содержание

Что мы тестировали

Как мы тестировали

Results

Color

Noise

Sharpness

Video

Возможные источники ошибки

Примечание о разнице между объективным и субъективным

Победители

кредиты

Одним из наиболее важных аспектов для каждого смартфона является то, насколько хороша его камера, но есть два способа оценить камеру: по тому, хороша ли она технически или хорошо ли выглядит. Часто самые точные камеры смартфонов не дают снимков, которые выглядят хорошо, так как же решить, какая камера для смартфонов лучшая?

Для Best of Android 2017 мы представили совершенно новый метод объективного тестирования камер смартфонов, но мы также хотели узнать, какая камера смартфона выглядит лучше всего. Для этого мы разделили камеру на две части. Ниже мы рассмотрим, какой из них является лучшим с технической точки зрения, исходя из всех наших данных. Если вас интересует, что выглядит лучше всего, посмотрите нашу публикацию о 10 перестрелках с камерой на телефоне и проголосуйте в нашем опросе.

Что мы тестировали

Учитывая, что современная фотография является цифровой, объективно оценить качество изображения должно быть довольно просто, верно? Неправильно.

Как показали недавние разногласия по поводу оценки объективных данных изображения, очень сложно придумать оценки, которые что-то значат для среднего потребителя. Для не энтузиастов погружение в результаты тестов может быть скучным и стрессовым, и никому это не нужно. Хотя собранные нами данные намного более полны и сложны, чем то, что мы показываем здесь, мы выбрали несколько различных базовых измерений, чтобы сравнить камеры наших смартфонов-кандидатов. Не волнуйтесь, мы проведем вас через то, что мы нашли, не усложняя задачу. Никаких оценок по десятибалльной шкале, никаких скрытых измерений за искаженными графиками, только данные и экспертный анализ от вас.

Имейте в виду, что фотография – это тоже искусство; то, что выглядит великолепно, часто объективно не великолепно. Например: Instagram и множество предустановок Lightroom добавят недостатки и характеристики «плохих» камер по художественным причинам. Для большинства «идеально» обработанные фотографии будут выглядеть тусклыми, немного мягкими и несколько безжизненными. Я пользовался телефонами там, где это страдало либо из-за недостатка камер смартфонов в целом, либо из-за ограничений человеческого восприятия.

Хотя мы могли бы разорвать сотни страниц эзотерических результатов, нам действительно не нужно выходить за рамки резкости камеры, цветопередачи, шума и производительности видео.

Как мы тестировали

Testing a camera unit objectively means removing as many variables as possible. In short: we had to create a lab for specifically this purpose. If you'd like to know more about that process, you can delve into all the nerdy details here.

With our perfectly blacked-out testing lab done, we then needed the right equipment. For this, we partnered with imaging specialists Imatest in Boulder, CO. I’ve used their systems in the past for other outlets, and their off-the-shelf solution gives users a time-tested way to get rock-solid objective camera test results. It’s our desire to be as accurate as possible, so instead of banging our heads against the wall in creating our own wrapper for a MATLAB analysis—we got the right software for the job.

Our data is collected from only a handful of shots of test charts. Here’s a quick rundown:

The Xrite Colorchecker is a 24-patch chart containing a 6-patch greyscale and an 18-point color range. From this chart, we can measure color error (ΔC 00, saturation corrected), color saturation, white balance, shot noise, and more.
The SFRPlus chart is a multi-region slanted-edge resolution chart, capable of revealing all sorts of fun performance data. This is how we test the sharpness capabilities of our cameras, but it also allows us to quantify distortion, lens defects, chromatic aberration, and more. We store all of this data, though we’re only covering sharpness here. If its warranted later on, we can dredge up our other findings.
The DSCLabs Megatrumpet 12 is a chart designed to test the video sharpness capabilities of any 4K-capable image sensor. By panning the camera during recording, the incredibly tiny lines disappear, leaving only a blotchy grey area. This gives us a fairly reliable quantification of how much data a given camera can resolve in a unit called line pairs per picture height (LP/PH).
A randomly-generated spilled-coins chart created with Imatest‘s chart generator function allows us to expose the weaknesses of the noise reduction algorithm that’s present on all consumer cameras. Ever notice how photos you take in low light look blotchy and strange? That’s the noise reduction feature getting confused about what’s noise and what’s detail. With lots of hard, round edges and bright colors, this chart shows how a camera is likely to remove detail in the name of noise reduction.

Results

After testing our candidate phones, it was striking how similar performance was across most cameras. It’s possible this is because a lot of the image sensors in mobile devices are manufactured by Sony, but it could also have a lot to do with the fact that there are very clear limitations to image sensors that small. Sure, image processing has come a long way—it’s incredible that these units can even take a picture, really—but many of the variations in performance seem to have a lot more to do with software than hardware.

Among flagships, camera performance isn't incredibly different from phone to phone

Among flagships, camera performance isn’t incredibly different from phone to phone when you strip away the enhancements applied by the camera API. The Nokia 8 has a super-high sharpness rating, but it achieves this with intense software edge-enhancement. Functionally, you should be happy with any camera here (except for the BlackBerry, anyway).

Color

Of everything that can go wrong with a photo, the color is probably most noticeable. Sure, you could miss your focus, but nothing gives you that visceral reaction of disgust like a magenta pall over your selfie, or orange tint to your bar shot.

…these cameras have an incredibly hard time finding the correct white balance automatically

While smartphone cameras are pretty poor at color accuracy, they’re just good enough to go toe-to-toe with most point and shoots. However, if there’s any theme to the color performance that I found in the lab, it’s that these cameras have an incredibly hard time finding the correct white balance automatically. That in turn has measurable consequences for color accuracy.

It’s not possible to to take manual white balance readings with the stock camera APIs of most smartphones. Despite the greycards, D65 bulbs, and massive sample sizes, these phones all had varying shortcomings in color performance—even in ideal conditions. Let’s start with color accuracy (ΔC 00, saturation corrected). They all did okay, but the Samsung Galaxy Note 8, Google Pixel 2 XL, Sony Xperia XZ1, Moto Z Force 2, and Huawei Mate 10 Pro had the best color accuracy by a noticeable margin.

No camera here was truly bad, but I would hesitate to recommend anyone caring about color accuracy to use any of the cameras I didn’t mention just now. Most of those phones just didn’t quite make the cut, either due to shifted colors, or simply a really rough time white balancing. For example, the LG V30 tends to err towards the side of warmer colors, and there’s not a whole lot you can do about it.

The metric we used to track color accuracy has a little “saturation corrected” at the end of it, and that’s no accident. Most casual shooters add a little pop to their shots, commonly by pumping in a little oversaturation of colors. There’s nothing inherently wrong with that. Keeping it tasteful can prevent problems like posterization and clipping, but it shifts color values. In order to keep things fair we didn’t want to ding any phone unfairly.

The TL;DR version of this chart is that the photos from the Oneplus 5T, Google Pixel 2 XL, and Huawei Mate 10 Pro all have colors that pop just a bit more than the rest of the pack. The other phones aren’t too far behind, however, and no camera undersaturates colors. The key takeaway here is that none of these numbers are very far apart from each other, and that any phone on this list will look more vivid than a shot taken at 100% color saturation. Boring takeaway, sure, but worth exploring.

Noise

This is probably the trickiest metric to pin down because smartphone cameras live or die by noise reduction algorithms. Essentially, tiny camera sensors have an extremely tough time generating noise-free shots, and often have to rely on low-res sensors to collect enough light. This means that if there’s anything preventing a clean signal from being recorded—a lack of light or internal heat come to mind—you’ll see a bunch of junk in your shot.

No flagship phone had any issues with shot noise in ideally bright conditions. Despite the Google Pixel 2 XL and the Samsung Galaxy Note 8 beating the competition handily, none of the candidates even approach what we’d consider “bad” or “noticeably worse than others.” For that, you’d typically look for an average noise level of 1-2% at minimum if you’re pixel-peeping.

Switch to low light, and all bets are off. Smartphone camera sensors are simply too small to perform at the same level as most popular standalone cameras today. Barring a massive drop in resolution or increase in sensor size, there’s really only so much you can expect from a smartphone in this regard. They can’t overcome physics, after all. However, notice that our noise levels are suspiciously low.

Очевидно, что это не все, поэтому мы составили диаграмму, специально разработанную, чтобы показать, насколько плохо работает шумоподавление. Результаты были поучительными. По сути, мы ищем здесь острые края, присутствие крошечных кругов, разбросанных по всей диаграмме, и никаких других проблем, таких как нечеткость, пятнистость в местах усреднения данных или ложное окрашивание. Я считаю OnePlus 5T лучшим из представленных здесь, несмотря на его длинную выдержку, в то время как остальные будут предсказуемо менее хороши при работе в темных ситуациях.

Детали были хорошо сохранились, но многие круги заметно изменили цвет. Учитывая телефон: неплохо!

Явно проигравший в наших тестах, API камеры Google, похоже, действительно увеличивает шумоподавление по умолчанию. Размытые края, отсутствующие маленькие кружки и небольшое изменение цвета на 100% испортят фотографию.

У Huawei есть агрессивное шумоподавление, но оно хорошо справляется с этим. Престижность!

Не знаю, что здесь произошло, но это… странно. LG'sd V30 сохранил шум и некоторые странные рисунки.

Moto отлично справляется с шумоподавлением, но кое-где стирает лишние черты. В целом довольно впечатляюще.

Nokia отлично справляется с заглушением шума, но в некоторых местах он выходит за рамки, делая круги деформированными и немного пятнистыми.

OnePlus выдержал наш тест, но с длинной выдержкой… Я не решаюсь их увенчать.

Есть небольшие артефакты, но Samsung отлично справляется с шумоподавлением. есть только пара размытий, и большая часть цветовых деталей сохраняется. Излишняя резкость делает некоторые точки более заметными.

Sony известна своей технологией сенсоров изображения, и хотя этот урожай немного скучен: шум относительно хорошо обрабатывается с небольшими компромиссами. Контраст не так хорош, но цвет и детализация относительно хороши.

Все это может измениться с обновлением приложения камеры любого телефона. Если вы беспокоитесь о том, как плохо здесь выглядит ваш любимый телефон, то мы еще даже не закончили; есть много хороших вещей, в которых можно покопаться. Во время обработки этих файлов я заметил, что многие телефоны добавляли «LL» в свои имена файлов, указывая на то, что API камеры знал, что обрабатывать фотографию иначе, чем обычно. Это довольно круто, но многие камеры до сих пор не так жарко.

The LG V30 and the Google Pixel 2 XL showed enormous difficulty in maintaining detail in low light. Both produced different issues. The Pixel 2 XL seemed to err towards a violent destruction of noise at the expense of hard edges. The V30 preserved detail but created a rather strange pattern.

…the software chose to just use a longer shutter speed when I tested. If this happens when you take a shot, you won't be able to escape motion blur, and if it doesn't: the noise reduction will be far worse.

For most cameras, low light means cranking up the ISO (or sensitivity) to make a bright image. Alternatively, you could simply make the shutter speed longer, but that’ll almost always make your shot blurry. While I was impressed with the low light performance of the OnePlus 5T and Nokia 8, the software chose to just use a longer shutter speed when I tested. If this happens when you take a shot, you won’t be able to escape motion blur, and if it doesn’t happen, the noise reduction will be far worse. These results were strange outliers. It doesn’t pass the sniff test, but I’m not about to ignore something I corroborated over several samples. The Samsung Note 8 did well here, but with slightly less shutter speed tomfoolery. Slightly.

Sharpness

Sharpness is an easy thing to measure. Performing the tests might be mechanically difficult, but once you get a properly aligned and exposed test shot, you’ll get loads of data from scores of collection points across the frame which can tell you exactly how good your sensor and lens combo is.

This section may seem a little less hardcore than it really should be, but I noticed a few things. First off: we collected a ton of data, but many of the differentiating points between phones really centered around distortion related to the focal length of the lenses, raw sharpness, and software oversharpening. After our initial tests, we ran a couple re-tests to make sure we got accurate data, and here’s what we found:

Most of the phones bounce around between 2,000 and 3,000 line widths per picture height (LW/PH), but the Samsung Note 8, Nokia 8, and OnePlus 5T all post scores over 3,000 LW/PH. That’s pretty impressive, but there’s a little more to it than that. Aside from the OnePlus 5T, both the Nokia and Samsung phones rely on heavy oversharpening to get their results. You’re unlikely to really notice it all that much, but oversharpening tends to affect picture quality in subtle ways.

Software oversharpening is a sort of edge-enhancement that imaging processors do to take areas of extreme contrast (hard edges), and push them even further. It’s like using the clarity slider in Photoshop. While some oversharpening will help smartphone cameras overcome the inherent difficulties in tiny camera design, too much will give you a lot of the same effects that the crappy, fake HDR filters do. It will also put noise where it shouldn’t be, and add some bizarre glowing if it’s too extreme. Thankfully, even the worst of the cameras here were pretty average, all things considered.

…even the worst of the cameras here were pretty average, all things considered.

If you’re having trouble visualizing this, here’s a concrete example. When you see an image with a hard line between black and white, sometimes the camera records a step of grey where the pixels don’t necessarily line up. Oversharpening makes the black side of that image darker, and the white pixels immediately adjacent to that line whiter for the sole purpose of making that edge appear more crisp. In photos, this changes how the detail is preserved, but generally isn’t much of a problem until you go overboard. With a light hand, it can even look good.

On the left, a portrait shot by a DSLR without any additional software sharpening, on the right: a bit of software oversharpening.

Все это означает, что со временем эти камеры могут стать лучше. Например, вы можете заметить, что телефон Razer отстает во всех этих тестах – несколько обзоров в Интернете также указывают на это. С небольшим программным обеспечением камера TLC Razer может быть в полном порядке. Обратите внимание, что в настоящее время он не использует много улучшений, таких как агрессивное шумоподавление или чрезмерная резкость. Даже точность цветопередачи могла бы улучшиться, если бы разработчики обратили внимание на измерение температуры окружающего света. Даже если сейчас это сильно отстает, никто не говорит, что так будет всегда.

Video

Видео также довольно легко оценить, но у меня есть скрытое подозрение, что многие из вас, начинающих кинематографистов, будут больше интересоваться характеристиками и функциями камер, а не сырой производительностью датчика изображения. Такие функции, как профиль съемки журнала V30, например, могут перевесить эти результаты для некоторых.

К делу: большинство этих камер демонстрируют отличные результаты с точки зрения резкости. Неудивительно, что Google Pixel 2 XL и Samsung Galaxy Note 8 выделяются. Остальная часть пакета отстает, хотя ни одна камера, которую мы тестировали, действительно не достигла области «плохой» производительности. Телефоны Google и Samsung действительно хороши. Используя нашу надежную таблицу разрешений DSCLabs Megatrumpet 4K, мы обнаружили, что эти две камеры работают превосходно и на голову выше остальных. Оба опубликовали измеренную резкость около 1500 LP / PH, что примерно соответствует теоретическому уровню для видео 4K. Остальная часть стаи немного отстала, но это не так тревожно.

Возможные источники ошибки

Я бы не стал выполнять свою работу, если бы не дал понять, что, несмотря на все наши усилия, есть несколько переменных, которые мы не можем контролировать. Большинство систем камер смартфонов на самом деле не позволяют вам вручную считывать баланс белого, а это означает, что вам нужно полагаться на сложную систему серых карт, ламп D65 и системы измерения телефона, работающие так, как от них ожидают.

Иногда – особенно в условиях низкой освещенности – камеры просто не ведут себя таким образом, чтобы получить наилучшие возможные результаты. Если у камеры были проблемы даже в идеальной ситуации, это проблема. Этот источник потенциальной ошибки может иметь последствия для точности цветопередачи и мало чего другого.

Другие источники ошибок связаны с тем, как каждое мобильное устройство решает неотъемлемые проблемы камеры смартфона. Некоторые используют более длинные выдержки, чтобы собрать больше света (что делает более вероятным размытие движения), другие увеличивают чувствительность (повышая шум и / или пятнистость). Иногда системы замера просто не работают так хорошо, что меняет цветовой баланс кадра. Все это случается. Чрезвычайно сложно получить правильные настройки автоматически, особенно с крошечными датчиками.

Хотя все эти данные были собраны в стерильных условиях, контролировать эти проблемы практически невозможно. При слабом освещении мы изменили настройки EV и оставили выбор камеры за ISO и выдержкой. Это может вызвать другие проблемы, не очевидные в наших тестах.

Примечание о разнице между объективным и субъективным

Объективное тестирование камеры говорит нам только об этом. Это полезно для людей, которые хотят максимально использовать свое оборудование, но его ценность варьируется от человека к человеку. Вполне возможно, что лучшая для вас камера – это не камера с наиболее клинически точными характеристиками.

Как я уже упоминал ранее, в наши дни камеры смартфонов действительно потрясающие. Если вы в основном собираетесь использовать Instagram, Lightroom CC или VSCO: вы, вероятно, будете меньше беспокоиться об «идеальных» результатах и больше о таких вещах, как глубина цвета и настройки в телефоне. Вдобавок ко всему, даже дрянные камеры, которые снимают в формате RAW, также позволят вам редактировать ваши фотографии, если хотите. Вы также можете добиться более высокого качества фотографий, которые ваш телефон достигает определенных показателей производительности.

Чтобы узнать больше о субъективной оценке качества изображения, посетите нашу фотосессию, где ваш голос будет учитываться при получении награды People's Choice Camera of the Year!

Победители

Благодаря сочетанию отличного цвета, шума, производительности при слабом освещении и резкости мы бы рекомендовали Samsung Galaxy Note 8 и Huawei Mate 10 Pro как имеющие лучшие камеры, объективно говоря. Как мы проиллюстрировали, эти камеры не на световые годы опережают остальных; они просто лучшие из суперсоревновательной группы.

В целом, Galaxy Note 8 набирает 60 баллов, а Mate 10 Pro отстает всего на одно очко с 59 очками. Pixel 2 XL занимает третье место с 56 баллами, а OnePlus 5T также заслуживает упоминания, заняв четвертое место с 52 баллами. Xperia XZ1 отстает еще дальше, за ним идут Moto Z2 Force, Nokia 8, LG V30 и BlackBerry KEYone Black. Razer Phone довольно неожиданно идет последним со значительным отрывом.

Если вы ищете еще один ключевой атрибут для лучшего смартфона, обязательно ознакомьтесь с другими статьями из серии Best of Android 2017. Как вы думаете, какой телефон является телефоном года? Проголосуйте в нашем опросе ниже, так как победитель будет назван «Народным выбором смартфона года 2017»!

Помните, вы можете выиграть один из трех смартфонов, занявших первое, второе и третье места в общем зачете! Чтобы войти, проверьте все детали в виджете ниже, а для пяти дополнительных записей используйте этот уникальный код: BOACO1.