Best of Android: как мы тестируем производительность
Проверка работоспособности смартфона – не маленький источник противоречий. Обычно люди обращаются к контрольным показателям за ответом, правда в том, что нет единого способа сделать это – поэтому мы должны выбирать, на чем мы собираемся сосредоточиться, чтобы контекстуализировать наши результаты.
Как мы тестируем
Когда мы тестируем телефон на его производительность, мы загружаем резервную копию телефона, а затем запускаем каждый из наших целевых тестов три-пять раз и записываем среднее значение. Таким образом, неожиданные выбросы не позволяют его публиковать, а более реалистичный результат – это то, что вы читаете.
Хотя это может показаться слишком чересчур прямолинейным, на самом деле в этом нет ничего другого. Программное обеспечение делает тяжелую работу.
Один эталонный тест не поможет
Большинство тестов ориентированы только на один аспект производительности, и это выглядит довольно разумно. Люди склонны забывать, что смартфоны состоят из множества частей, таких как память, оперативная память, процессор, встроенный графический процессор и так далее. Из-за этого мы выбрали эталонные тесты, которые охватывают практически все, что мы могли бы узнать о каждом устройстве.
Получив совокупность результатов вместо одного общего балла, мы можем определить сильные и слабые стороны каждого телефона. Хотя большинство устройств намного превосходят что-либо из прошлых лет – и, следовательно, это менее важно для тестирования, чем когда-либо – все же полезно помогать людям знать, какие компромиссы они делают при выборе телефона.
Тесты, которые пытаются сделать все за один раз, как правило, не делают такую удивительную работу в этом, поэтому наш подход обходит ошибки, введенные путем объединения всех результатов в одно число. В то время как наши итоговые результаты примерно одинаковы, существует большая разница между валовыми и нормализованными. Мы собираем и анализируем результаты из:
- AnTuTu
- GFXBench (T-Rex, стелс)
- GFXBench (Манхэттен, стелс)
- Базовая ОС
- реактивная струя
- Geekbench (одноядерный)
- Geekbench (многоядерный)
- Geekbench (одноядерный стелс)
- Geekbench (многоядерный стелс)
- 3DMark (рогатка экстрим, стелс)
Иногда цифры не имеют значения
Как мы уже видели, иногда можно немного поиграть в тесты. Хотя у компаний разные стратегии и причины для манипулирования производительностью, на самом деле это не всегда «обман». Иногда это может быть просто что-то, что компания делает в определенных ситуациях, чтобы высвободить ресурсы для общих задач, которые требуют немного больше сока. В других случаях это прямое дурачество.
Смартфоны прошли невероятно длинный путь с момента их появления, и проблемы 2013 года просто не существуют в современном мире.
Чтобы обойти это, мы предприняли шаги, чтобы победить игры с открытым программным обеспечением, установив партнерские отношения с друзьями в отрасли тестирования. Таким образом, мы можем увидеть, действительно ли результаты получены или нет. Для наших тестов процессора мы будем сравнивать только результаты, которые мы подтвердили, чтобы быть точными.
Устойчивая производительность
Поскольку то, что ваш средний потребитель рассматривает как «производительность», вероятно, сильно отличается от длинной цепочки цифр, у нас есть собственное решение для тестирования устойчивой производительности. Используя версию Speed Test G в цикле, мы можем записывать и контекстуализировать сотни сборов данных в течение всего цикла разряда телефона. Например, мы можем переждать любые спортивные режимы, отслеживать чипы, решающие разогнаться, и даже получить показания времени автономной работы в худшем случае.
Взяв так много коллекций, мы также сможем лучше понять, какую производительность вы на самом деле получите, а не просто снимок того времени, когда телефон находился в оптимальных условиях. Мы находим, что, выстраивая стандартное отклонение в любом случае, мы можем получить лучшее представление о том, где ваши результаты производительности будут как минимум вдвое меньше
Потому что мы не размещаем наше приложение в Play Store, App Store или на сайте обмена файлами: производители не получат его в свои руки. Поэтому мы можем гарантировать, что мы предприняли все разумные шаги, чтобы избежать мошенничества.
Не паникуйте
Если вы беспокоитесь о том, что ваш телефон не так хорош, как другие, не паникуйте. Смартфоны прошли невероятно длинный путь с момента их появления, и проблемы 2013 года просто не существуют в современном мире. Даже «худшие» телефоны все еще чертовски хороши. В определенный момент, эталонные показатели являются просто числом.
Источник записи: https://www.androidauthority.com