Тесты:объективная оценка производительности, а не вся история

В постоянно меняющемся мире технологий вам нужен какой-то критерий для сравнения производительности, поскольку чтения технических спецификаций никогда не бывает достаточно. Вот почему были созданы бенчмарки. Но почему и как мы их используем? Можем ли мы считать их надежными?

• WikiPIT:ответы на ваши вопросы
• WikiPIT:что такое выемка?

Ярлыки:

• Что означают контрольные показатели?
• Какова цель этих тестов?
• Отнеситесь к результатам с недоверием.

О каких контрольных показателях мы часто слышим?

Тесты — это программы, предназначенные для тестирования процессоров, графических процессоров, памяти или практически любых других аспектов устройства, которые можно измерить с помощью баллов, времени, скорости и т. д. Это тесты, проводимые такими компаниями, как DxOMark, для оценки камеры. время фокусировки и тесты скорости для скорости интернет-сети, которые также относятся к категории контрольных показателей.

Контрольные показатели можно разделить на два типа:

• Синтетические тесты
• Реальные показатели

Первый (и более распространенный) тип моделирует экстремальную рабочую нагрузку и задействует компоненты на 100 % своей мощности. Это позволяет оценить максимальную мощность устройства.

Реальные тесты имитируют реалистичные (хотя и очень требовательные) рабочие нагрузки и более полезны для оценки реальных возможностей продукта для более конкретных целей (например, приложений).

Какова цель этих тестов?

Приложения для тестирования (или программы для ПК) предназначены для определенной цели:для измерения производительности устройства, на котором они выполняются, чтобы сравнить его с другими эталонными устройствами.

По мере увеличения сложности электронных устройств становится все труднее сравнивать их производительность, просто взглянув на характеристики. Вот почему всегда создаются новые программы измерения производительности.

Можем ли мы им доверять?

Теоретически да. Оценки, рассчитываемые тестами, всегда получаются с помощью одних и тех же операций на каждой машине, поэтому каждое устройство обрабатывается одинаково. Однако вам необходимо знать состояние устройства перед выполнением теста.

Вот практический пример:если приложения работают в фоновом режиме на смартфоне во время теста, результат, очевидно, будет отличаться по сравнению со вторым смартфоном, на котором запущена тестовая программа без открытых других приложений. Это связано с тем, что некоторые ресурсы тестируемого устройства могут использоваться другими программами или приложениями, что влияет на конечный результат.

Иногда, однако, производители были уличены в мошенничестве в ходе этих эталонных тестов. Совсем недавно было обнаружено, что OnePlus повышает производительность своих смартфонов, когда на их устройствах выполняются самые популярные и используемые тесты Android. Распознав запущенное приложение, некоторые производители могут реализовать определенные процедуры, позволяющие оборудованию работать лучше и получать более высокие оценки. Зная, как работают эти тесты, вы можете оптимизировать свой продукт, чтобы получить более высокие оценки в тестах, но это не всегда приводит к повышению производительности в реальной жизни.

• Xiaomi Mi 8 — настоящий чемпион, и тесты это подтверждают.

Не доверяйте результатам

Контрольные показатели являются ориентировочными и полезными только в том случае, если все устройства, используемые для сравнения, обрабатываются одинаково. Если все тесты проводить в одинаковых условиях, то можно оценить, какой продукт объективно лучше, хотя бы на бумаге. Контрольные показатели можно легко придумать, и они могут не отражать использование устройства в реальной жизни.

Иногда некоторые смартфоны могут достигать потрясающих результатов тестов, но не обеспечивают приемлемого пользовательского опыта. Просто подумайте о линейке Galaxy S от Samsung, которая имеет аппаратное обеспечение самого высокого уровня, но иногда не так плавно и отзывчиво, как смартфоны с более низкой производительностью на бумаге, такие как смартфоны Google Pixel.

• Насколько мощны Galaxy S9 и S9+? Давайте узнаем

Вы полагаетесь на контрольные показатели при выборе технических покупок?