Что нужно знать о тестах смартфонов: AnTuTu, 3DMark, GPS test и других

Какие бывают тесты, для чего они нужны. И показывают ли они реальную производительность, качество работы смартфона? Ответы в статье

Насколько мощный этот смартфон, а как хорошо в нем работает GPS, какие датчики есть в наличии и сколько он способен проработать без подзарядки? Вопросы, на которые однозначно стоить обратить внимание при планировании покупки мобильного устройства. Так как смартфоны уже прочно закрепились в нашей жизни и используются для решения многих повседневных задач, где производительность аппарата играет не последнюю роль. К сожалению, многие люди попадают в маркетинговые ловушки: они смотрят на технические характеристики и предполагают, что смартфон будет работать тем лучше, чем выше тактовая частота процессора или больше ядер. На самом же деле, технологический прогресс не стоит на месте, совершенствуются нормы техпроцесса, повышается оптимизация программного обеспечения, внедряются новые технологии. И устройство, произведенное всего несколько месяцев назад, может иметь то же число процессорных ядер и работать с той же частотой, как совершенно новое устройство, но его базовая архитектура может быть гораздо менее эффективнее. Кроме того, SoC обоих устройств могут быть оснащены различными графическими процессорами, разными объемами и типами памяти, а также различными версиями мобильной ОС. И для того чтобы ответить на заданные выше вопросы и сделать правильный выбор, существуют различные тесты для смартфонов. О них сегодня и пойдет речь.

Современные тестовые приложения (бенчмарки) способны оценить эффективность практически всех компонентов системы. Очень условно я их разделю на два типа:

Комплексные тесты смартфона

Такие тесты позволяют оценить как общую производительность смартфона, так и его отдельных компонентов: центрального процессора, графического ядра, оперативной и внутренней памяти. Они состоят из нескольких небольших, специализированных блоков, которые выполняют такие операций, как криптография, сжатие файлов, математические операции с целыми числами и плавающей точкой, выполнение специализированных инструкции для пиксельных шейдеров и растеризации, 3D и 2D рендеринг. Некоторые бенчмарки для тестирования графики используют реальные игры. Память же, тестируется путем измерения скорости передачи данных при чтении и записи файлов, как с фиксированным размером, так и с разным. Также с помощью них можно протестировать автономность смартфона. В этом тесте измеряется время работы без подзарядки при выполнении различных сценариев использования устройства, приближенных к реальной жизни: просмотр фильмов, игры, веб-серфинг, режим ожидания и разговора. Почти все такие тесты выдадут вам информацию и о датчиках, которые присутствуют в вашем смартфоне. Отдельно можно выделить тесты на качество веб-серфинга. Они собирают данные по скорости выполнения рендеринга, jаvascript и пропускной способности сети. Примеры таких бенчмарков: Basemark, AnTuTu, GFXBench, 3DMark, Quadrant, Vellamo, Google Octane.

Специализированные тесты

Одни из них используются для оценки качества экрана, аудиосистемы. И на мой взгляд, являются довольно субъективными, так как глаза и уши разных людей и по-разному воспринимают информацию. Но все же такие тесты способны выдать нам некоторые объективные характеристики, такие как диапазоны яркости, контрастности, цветовой температуры, мультитач для экранов; соотношение сигнал/шум, уровень выходной мощности, неравномерность АЧХ и т.д. для звука. Примеры: RightMark Audio Analyzer (звук), DS Display Expert, Display Tester (экран). Другие тестируют работу встроенных датчиков смартфона (GPS test, Z - Device Test, Android Sensor Box), скорость соединения с интернет (Speedtest), работу беспроводной связи (Wifi Analyzer) и другое подобное.

Далее, я хотел бы остановиться более подробно на некоторых известных бенчмарках.

AnTuTu

Является одним из самых популярных и универсальных приложений для тестирования. Большинство Android смартфонов оценивают в первую очередь на основе результатов тестов AnTuTu. Этот бенчмарк протестирует производительность вашего смартфона (скорость центрального процессора, его многозадачность, возможности многопоточности, 3D рендеринг, оперативную память), выставит балы и проведет сравнение вашего устройства с другими. А также проверит автономность, мультитач, расскажет вам, какие датчики задействованы в смартфоне.

GFXBench

Является наиболее полным графическим тестовым пакетом. Содержит тесты высокого уровня на основе 3D игр (Manhattan, T-Rex, Car Chase) для оценки производительности в реальном мире и несколько низкоуровневых (Alpha Blending, ALU, Fill, Driver Overhead, Render Quality) для измерения производительности на аппаратном уровне. Результаты GFXBench выдает в количестве кадров за секунду (FPS). Есть возможность тестирования как на родном разрешение, так и на стандартном для всех 1920 на 1080. Также можно протестировать среднее количество FPS при 3D нагрузке на протяжении длительного периода. В таком сценарии можно оценить влияние на производительность нагрева и троттлинга. GFXBench является кросс-платформенным приложением, с поддержкой Windows, Android и iOS.

Geekbench

Кросс-платформенное приложение, которое протестирует отдельно одноядерную и многоядерную производительность процессора, используя рабочие нагрузки, имитирующие реальные сценарии.

GPS Test

Простенькая, но очень популярная утилита, которая покажет вам как быстро и точно работает спутниковая навигация в смартфоне.

Одной из проблем при тестировании мобильных устройств является то, что невозможно полностью взять под контроль рабочую систему. Ведь устройство может периодически отправлять и получать данные, приложения, работающие в фоновом режиме, могут просыпаться для сбора данных, отправки уведомлений. А программное обеспечение безопасности, установленное по умолчанию, может выполнить рутинную проверку. Все это может давать как маленькую, так и большую погрешность в результатах тестирования.

Другой проблемой является жульничество со стороны производителей, которые используют скрытый режим повышенной производительности (в ущерб энергоэффективности и теплоотдачи), который активируется при тестировании смартфона бенчмарками, и недоступен при обычных задачах. На таком мошенничестве ловили Samsung, но и другие компании не брезгуют этим. Так, в 2013 был скандал по поводу того, что AnTuTu был оптимизирован под процессоры Intel.

Ну что же, подводим итоги:

1. Тесты полезны для оценки производительности, эффективности и начинки смартфона. Их данные могут помочь вам в выборе устройства, да и оценить свое.
2. Нельзя на 100 процентов полагаться на тесты, так как имеет место и жульничество, и нереальные сценарии использования, и другие субъективные причины.

А важны ли для вас результаты бенчмарков?