Популярные бенчмарки для Android. Benchmark что это
Самые популярные бенчмарки на платформе android
Добрый день, читатели нашего сайта fans-android! Сегодня мы расскажем и покажем Вам самые популярные бенчмарки на платформе android. Но для начала немного теории. Для чего же всё-таки нужны бенчмарки? И почему мы считаем, что их наличие на вашем телефоне необходимо?
И так, начнём с того, что дадим определение самому слову «бенчмарк». В русский язык это слово попало, соответственно, от английского слова benchmark, что в переводе на русский язык означает «эталон», «ориентир». Если говорить совсем на русском языке, то бенчмарком мы можем назвать тест производительности вашего устройства.
С помощью этого теста производительности в состоянии адекватно оценить мощность своего android-смартфона и сопоставить её с аналогами. Приведём небольшой пример. Допустим, вы при покупке сомневаетесь, какой видеоускоритель на 2 практически одинаковых устройствах лучше. И вот, включив бенчмарк, вы без труда можете выявить победителя, и, приобрести лучший аппарат. А вот вам ещё один пример. Вы решили обновить версию прошивки, однако вы не знаете, какие сюрпризы она принесёт. Вы включаете тест производительности, проходите его на старой прошивке, затем на новой и после всего этого сравниваете результаты. На какой прошивке вы наберёте большее количество очков, та прошивка и будет «быстрее» и стабильнее. Не смотря на это, применение бенчмарков не ограничивается только этими двумя примерами. Их употребление может быть как в профессиональной сфере деятельности (комплексный анализ производительности CPU и GPU на какой-либо платформе), так и в простом сравнении с множеством других телефонов.
Давайте приведём ещё один пример, чтобы убедить вас в том, что бенчмарк может помочь определить проблему в вашем телефоне. Предположим ситуацию, в которой вы постоянно наблюдаете некие «тормоза» в вашем android-телефоне. Что же делать? Всё достаточно просто, проблему вы можете выявить разными способами, но так же её можно выявить с помощью бенчмарка. Вы должны пройти полный тест, чтобы понять, в чём может быть загвоздка. Как понять? К примеру, вы прошли тест и увидели, что балов за тест CPU гораздо меньше, чем при обычной ситуации. Применяя дедуктивное мышление, вы можете прийти к тому, что какой-то процесс или программа буквально «забирает» производительность вашего процессора и всей системы в целом, что отражается на результатах бенчмарка. Или же ваш результат выдал слишком низкий бал за SD-карту. Это означает, что файлы на ней фрагментированы или же ваша карта низкого класса по скорости, что ограничивает производительность телефона. И так далее, возможности практически безграничны
После того, как вы убедились в полезности бенчмарков, перейдём непосредственно к самим программам, к их краткому обзору. Что предлагает play market и интернет нам на сегодняшний день? Тестируемый аппарат – Samsung Galaxy SIII.
1. Antutu Benchmark. Достаточно мощное решение, которое может проверить все компоненты вашей системы. Ссылка на playmarket.
Скриншоты программы:
2. Quadrant Standard Edition. Второй по популярности бенчмарк. Тест в основном нагружает процессор устройства. Ссылка на playmarket
3. RL Benchmark. Данный тест производительности для мобильных устройств, в основном, нагружает вашу файловую систему. Он тестирует быстроту sql запросов. Ссылка на playmarket.
4. GL Benchmark 2.5. Данный тест производительности в большей степени нагружает ваш GPU, т.е. видеочип.
5. Basemark™ ES 2.0. Ещё один бенчмарк, который создан для того, чтобы оценить мощность вашего GPU. Ссылка на playmarket.
6. Vellamo Mobile Web Benchmark. Данный тест производительности тестирует возможности вашего устройства в интернете. Ссылка на playmarket.
7. RD 3D Benchmark. Тест, тестирующий ваш GPU, для расчёта физики используется CPU.
8. Linpack for Android. Тест для вашего CPU.
Оцените статью: Поделитесь с друзьями!fans-android.com
Почему на самом деле ваш бенчмарк — говно
Ни для кого не секрет, что программисты очень любят бенчмарки. Ведь что может быть лучше, чем взглянуть на пару графиков, а потом с умным видом рассуждать о том, что Common Lisp быстрее PHP, а игры под FreeBSD идут быстрее, чем под Linux? А тем временем многие небезосновательно полагают, что бенчмаркам вообще нельзя верить. Я бы не был уж настолько категоричен, но на самом деле в этом есть существенная доля правды. Давайте разберемся, почему.
Но оговорим сначала, что в рамках данной заметки будет называться бенчмарком. Обычно под бенчмарком понимается некий тест, измеряющий скорость чего-то. Типа, «мы тут померили, и выяснили, что новая версия нашей СУБД держит до 100 000 транзакций в секунду». Или «мы тут передали гигабайтный файлик по сети и оказалось, что скорость составляет всего лишь 5 Мбит/сек». Однако с тем же успехом можно мерить не только производительность софта, железок и сетей, но и измерять объем оперативной памяти, используемый приложением, или, например, коэффициент сжатия архиватора. Возможно, вы не тестируете чью-то СУБД, а занимаетесь оптимизацией разрабатываемой вами программы. Ну или же пишите метрики, позволяющие находить в ней узкие места. Это все тоже бенчмарки.
Основная проблема с бенчмарками заключается в том, что при их проведении почти всегда совершаются одни и те же типичные ошибки. Вот некоторые из них.
1. Неповторяемость. Кто угодно должен иметь возможность повторить ваш бенчмарк. Это означает, что вы должны выложить исходный код приложения, которым производилось тестирование, архив с входными данными, привести характеристики машины, на которой проводился бенчмарк, версию используемых ОС, компиляторов, настройки приложения и так далее. Должна быть простая и понятная инструкция, описывающая, как повторить эксперимент. А теперь вспомните, как часто при проведении бенчмарка предоставляется вся эта информация? Если ее нет, бенчмарк нельзя повторить. Следовательно, его нельзя проверить. Следовательно, он не заслуживает доверия. Если видите бенчмарк, который нельзя легко и просто повторить, не верьте ему.
2. Вы измеряете не то, что думаете. Современные информационные системы сложны. Допустим, вы думаете, что добавили в программу метрику, измеряющую скорость вашего жесткого диска. На самом деле, скорее всего, вы измеряете скорость чтения из кэша файловой системы, в случае промаха — скорость чтения из кэша контроллера жесткого диска, а в случае очередного промаха — скорость последовательного чтения с жесткого диска. Эта скорость может очень, очень сильно отличаться, например, от скорости случайной записи при обходе всех кэшей. Аналогично при тестировании скорости языка программирования вы на самом деле можете тестировать скорость работы библиотеки PCRE или время инициализации виртуальной машины Java. Или вместо скорости обработки одного HTTP-запроса вы можете измерять время установления TCP-соединения. Чтобы понимать, что именно вы измеряете, нужно очень хорошо понимать устройство тестируемой системы. Много ли систем вы знаете действительно хорошо?
3. Взятие среднего. Не могу сосчитать, сколько раз на митингах я слышал что-то в стиле «давайте будем писать в Graphite среднее время выполнения запроса за минуту». Это грубейшая ошибка при измерении чего угодно. Ваше приложение может в среднем отвечать на запросы за 5 мс, но время от времени — за 10 секунд! Если запросов много, а пишется среднее, вы никогда не увидите этих пиков. Прямо как в анекдоте про среднюю температуру по больнице. Помните, среднее ни о чем не говорит, нужно смотреть на распределение. Другими словами, следует считать запросы, выполненные за 5 мс или быстрее, от 5 до 10 мс, от 10 мс до 20 мс, …., за 100 мс или дольше. Ну или хотя бы писать максимальное значение за интервал времени.
4. А кто будет бенчмаркать бенчмарки? Обязательно убедитесь, что во время проведения бенчмарка вы не уперлись в производительность самой программы для проведения бенчмарка. Например, если вы натравили на ваше приложение профайлер, причиной наблюдаемых этим профайлером тормозов может оказаться сам профайлер. Это еще одна причина, почему я не люблю fprof. Аналогично, если вы напихали в приложение слишком много метрик, производительность может упереться в сами метрики. Вот почему метрики весьма желательно слать по UDP. Если бенчмарк показывает, что ваше приложение не держит более 1000 запросов в секунду, возможно, это потому что программа, генерирующая нагрузку, работает в один поток. И так далее, и тому подобное.
5. Отсутствие анализа. Если программа работает медленно, разберитесь, почему она работает медленно. Что, если на самом деле мы уперлись в своп, и если дать программе немного больше оперативной памяти, она будет прекрасно работать? Что, если на самом деле проблема не в программе, а в пропускной способности сети? Если же вы занимаетесь оптимизацией программы, то просто обязаны понимать причину проблем с производительностью. В противном случае ваш процесс оптимизации будет проходить в стиле «хм, попробуем-ка впихнуть тут кэшик… не помогло, наверное просто JSON медленно кодируется, попробуем другую библиотеку…». Методом проб и ошибок вы будете оптимизировать вашу программу очень долго, заодно создав десяток новых бутылочных горлышек.
6. Игнорирование ошибок. Если тестируемая система держит сотни миллионов запросов в секунду, не спешите радоваться. Возможно, она просто отвечает на все ваши запросы сообщениями об ошибках. Аналогично, если система еле пашет, не спешите огорчаться. Возможно, вы просто ломитесь не на тот порт, или же порт закрыт фаерволом. Во время бенчмарка всегда считайте количество ошибок. Если это количество отлично от нуля, обязательно разберитесь, почему возникают ошибки.
7. Неправильные настройки. В реальных условиях системы эксплуатируется годами и сильно тюнится в процессе эксплуатации. При проведении бенчмарков ни у кого нет двух лишних недель на то, чтобы как следует разбираться в деталях настройки каждой из тестируемых систем. Особенно это касается, например, баз данных, настройки по умолчанию которых предполагают, что вы будете пытаться запустить их на микроволновке. Так что, если вы видите тестирование MySQL против PostgreSQL с настройками по умолчанию, тут же закрывайте страницу. И наоборот, если вы видите бенчмарк PostgreSQL, проведенный разработчиком этого PostgreSQL с двадцатилетним стажем, это вовсе не значит, что вы сможете заставить PostgreSQL работать так же быстро. Во всяком случае, не сразу.
8. Нетипичная нагрузка. Это, конечно, прекрасно, что ваша любимая СУБД держит миллион операций записи в секунду. Но проблема заключается в том, что операции чтения и записи в вашем приложении распределены в пропорции 90:10. То есть, чтение как бы намного важнее. И еще меня смущают объемы данных, на которых вы проводили тестирование. Учитывая, что они целиком помещаются в память, а ваша любимая СУБД активно использует mmap, возникает вопрос, что будет, когда рабочий набор перестанет помещаться в оперативную память? И да, быть может, эта ваша Java и умеет дробить числа в 10 раз быстрее Erlang’а, но кто в реальных приложениях на Java интенсивно считает факториалы? И почему когда я использую программы на Erlang, мне кажется, что они работают быстро, а когда я работаю с программами на Java, такого чувства ну никак не возникает? В общем, проводите бенчмарки на реальных нагрузках, на реальных объемах данных, решая реальные задачи. Никому не интересен сферический конь в вакууме.
9. Маркетинг и подгон. В реальном мире бенчмарки зачастую проводятся с пристрастием. Если производитель некого продукта захочет доказать, что его продукт лучше, чем аналог от конкурентов, он подберет подходящие для этого условия. А то и вовсе проплатит статью в подходящем журнале. Аналогично, если программист захочет доказать, что его любимый язык X лучше языка Y, он без труда найдет подходящую задачу. Намного более, чем вы могли бы подумать, распространен подгон продуктов под популярные бенчмарки. Мне, например, что называется, из первых уст, известно о том, как в свое время некий производитель компьютеров тюнил свои продукты под бенчмарки известного журнала. Нисколько не удивлюсь, если это практикуется многими производителями и нынче. Ну и если вы пишите некий софт, разумеется, довольно глупо тратить свое время, пытаясь подогнать его под бенчмарки, написанные вашей командой тестировщиков.
10. А как же другие параметры? Наконец, не стоит забывать, что на скорости, коэффициенте сжатия, или там объеме используемой памяти мир клином не сошлеся. Скорее всего, вы не захотите использовать архиватор, который жмет в 10 раз лучше gzip, если на решение задачи ему требуется около недели. Сишечка может быть намного быстрее, чем Erlang, но мне на работе без всяких там утечек памяти, переполнений буфера и проблем с переносимостью кода забот хватает. Oracle может быть во сколько угодно раз круче PostgreSQL, но у меня тупо нет денег на Oracle. Вообще, метрика «цена делить на производительность» очень полезна, советую держать ее на вооружении.
Следует также обратить внимание не следующее:
- Как мы помним из лабораторных по физике, эксперименты нужно повторять не менее трех раз. Если программа то летает, то адово тупит, что-то здесь нечисто;
- Бенчмарк должен быть легок в понимании и мерить что-то интересное. Мне ни о чем не говорит, что Nginx некое количество раз обратился к какой-то своей внутренней структуре, но я понимаю, что такое число запросов в секунду;
- Хорошо, если один и тот же бенчмарк можно натравить на продукты разных версий или разных производителей;
- Помните о различного рода побочных эффектах — качаемых торрентах, бэкапах БД, что стали внезапно писаться на диск, «шумных соседях», если ваше приложение работает в облаке, и так далее;
- Некоторым системам нужно время на то, чтобы прогреться;
- Не сравнивайте теплое с мягким. Если диск A работает намного быстрее диска B, но диск A тестируется в системе, где в два раза больше оперативки, возможно, вы сравниваете диск и кэш файловой системы. Если приложение нормально работает на реальных объемах данных на нормальной машине, но адово тупит на небольших объемах данных под тормозной виртуалкой, это ни о чем не говорит;
- Уж лучше иметь хреновый бенчмарк, чем оптимизировать программу, полагаясь на «очевидно»;
Смысл всего вышесказанного состоит в том, что правильно проводить бенчмарки очень и очень трудно. И проблема усугубляется тем, что большинство людей этого абсолютно не осознает.
Метки: Оптимизация.
eax.me
Лучшие бенчмарки для теста процессора и видеокарты — UONESIMPLE
Рынок компьютерных комплектующих, развивается семимильными шагами, в частности видеокарты, где новое поколение, выходит каждый год. У нас с вами (потребителей), возникает ряд вопросов, оправдан ли переход на новое поколение? Какой прирост производительности? Ответы на эти вопросы, мы получим, проведя тесты в бенчмарках.
Синтетические тесты: бенчмарки для теста производительности процессора и видеокарты
Бенчмарк для компьютера — основной способ узнать производительность вашего «железа». Вашему вниманию список актуальных приложений для измерения быстродействия PC.
Cinebench
Продукт от компании MAXON. Создатели используют наработки собственного приложения для изготовления профессиональной анимации, Cinema 4D. Бенчмарк для процессора и видеокарты заставляет компьютер просчитывать сложные 3D модели. В тестовом ролике их свыше 2 тыс. Это более 300 тыс. полигонов, плюс свет, различные режимы сглаживания и прочие детали. Результат выводится в следующих единицах:
- pts — для процессоров
- fps — для видеокарт
Чем больше очков набрано, тем быстрее «железо» вашего компьютера. Поддерживаются практически все чипы от AMD, Intel.
3DMark
Разработан компанией Futuremark, по праву считается одним из лучших. Приложение во время теста создает до 1,5 млн полигонов. С шестой версии появилась поддержка ShaderModel 3.0 и HDR. Разработчики уверяют, что столь сложные изображения в играх будут не раньше конца 2019 года. Теперь ПО измеряет мощность графического чипа, выводит на экран показатели совместной работы ЦП и видеокарты, а также следующие параметры:
- SM 2.0 — очки за работу с шейдерами версии 2
- HDR/SM 3.0 — очки за работу с более современными шейдерами
- CPU — мощность ЦП
Показателем качества для 3DMark является факт, что видеокарты всегда с трудом справлялись с этим тестом. Полную версию, можно приобрести в магазине Steam, цена 17,99$ иногда продается по внушительной скидке. к оглавлению ↑
Haven Benchmark
Продукт от компании UNIGINE. Работает с OpenGL 4 и DirectX 9-11. Поддерживает SLI от NVidia и CrossFire, Eyefinity от ATI. В базовой бесплатной версии есть следующее:
- Готовые пресеты
- Мониторинг GPU
- Интерактивный режим
- Возможность самостоятельно изменять настройки
Интерактивный режим стресс теста видеокарты — одна из интересных особенностей. Пользователь может самостоятельно перемещаться по виртуальному миру, отслеживая изменения характеристик производительности в реальном времени. Официальный сайт. https://benchmark.unigine.com/heaven
к оглавлению ↑PCMark
Перед вами популярная программа, используемая простыми людьми и интернет-изданиями, делающими обзоры на компьютерное «железо». В последней версии была переработана система оценивания производительности, что позволило софту подстроиться под современные требования. Появилось следующее:
- Измерение скорости запуска отдельных приложений
- Оценка наложений фильтров при работе с фото
- Проверка производительности рендеринга в графических и архитектурных программах, применяющих OpenGL
Фишкой PCMark является то, что все задачи, призванные проверить показатели вашего ПК основаны на реально существующих операциях и приложениях. При тестировании запускается интернет-серфинг, рендеринг видео, наложение фильтров на фото и т.п. Есть несколько режимов, позволяющих измерять показатели в разных условиях.
к оглавлению ↑Тест компьютера на производительность в играх
Прежде, чем приступить к тестам, необходимо выбрать софт для замера FPS и мониторинг загруженности ресурсов PC. Отличным решением будет, программа FPS monitor, CAM или MSI Afterburner. Если нужна простота в настройке, выбираем первый и второй вариант, не хочется ничего устанавливать, вам достаточно только счетчика? Тогда воспользуйтесь встроенным ПО, среди них NVIDIA GeForce Experience или AMD Relive.
И так, в каких играх тестировать компьютер? Приводим список игр, которые на сегодняшний день, предъявляют серьезные требование к железу.
- Battlefield 1
- Watch Dogs 2
- Ведьмак 3
- DOOM 4
- Assassin’s Creed Syndicate
- Rise of the Tomb Raider
- Deus Ex: Mankind Divided
- Tom Clancy’s The Division
- Tom Clancy’s Ghost Recon: Wildlands
- Grand Theft Auto 5
- Need for Speed Payback
- Assassin’s Creed Origins
- Call of Duty WWII
- PlayerUnknown’s Battlegrounds
Выводы
Наиболее популярными остаются 3DMark и Cinebench. Отдельного внимания заслуживает AIDA 64, которой мы посвятили отдельную статью, рекомендуем к прочтению. Если вы в поиске бенчмарка для смартфона на операционной системе Android или iOS, отличным выбором будет, AnTuTu Benchmark и Geekbench 4. Остались вопросы? Не стесняйтесь задать их в комментариях.
uonesimple.in.ua
AnTuTu. Что это за программа? Как пользоваться?
Если вы увлекаетесь мобильной техникой и стараетесь быть в курсе последних новинок, наверняка в описаниях или обзорах вы видели пункт «ХХХ баллов в AnTuTu». Что значат эти цифры, что такое бенчмарки и почему продвинутые пользователи обращают такое внимание на этот показатель при планировании покупки нового девайса?
В каждом смартфоне на Android или iOS имеется множество компонентов, и все они влияют на производительность, скорость работы и возможность решать различное число задач одновременно. Чтобы узнать, насколько хорош тот или иной телефон, существует множество тестов. Специальные приложения, которые можно скачать на аппарат, проанализируют основные технические характеристики и сопоставят их с показателями конкурентных моделей. AnTuTu Benchmark является самым распространенным и удачным приложением, и им уже успели воспользоваться более 100 млн. человек.
Полная система анализа производительности смартфона учитывает такие параметры, как удобство и легкость пользования, мощность и частота процессора, показатели оперативной памяти, графический процессор и его работа при воспроизведении 2D и 3D графики, а также вместимость внешней памяти.
Основные принципы работы
Бенчмарк АнТуТу – это, говоря простым языком, специально созданная программа, которая подсчитывает и переводит в цифры следующие показатели:
- оперативную память;
- видеоускоритель;
- версию системы;
- тип и производительность процессора;
- наличие мусора и др.
Чтобы приложение могло оценить телефон и сравнить его с другими моделями, все новые телефоны тестируются в AnTuTu.
Но Antutu Benchmark не просто выдает числовое значение. Приложение имеет массу дополнительных возможностей и даже способно улучшить работу телефона. Но чаще его используют именно для сравнения устройств, так как тест помогает пользователю оценить непосредственную производительность и место в рейтинге среди других смартфонов. Общая работоспособность складывается из отдельных показателей – оценки рабочей памяти и внутренней, скорости процессора и прочего.
При этом результат дается не только в цифрах, но и словами – например «отличный результат».
Проверка на производительность
Это самый главный показатель, который выдает тест Antutu Benchmark. Все данные соединяются, и телефону дается общая комплексная оценка. Вы получаете общее представление о том, как будет работать ваш аппарат и вывод.
Стабилен ли девайс
Чтобы узнать стабильность аппарата, необходимо проверить соотношение его мощности и быстродействия процессора, а также скорость и силу, с которой нагревается батарея.
Общая информация
Антуту позволяет получить важные подробности о телефоне, а также дать всю необходимую информацию о планшете или смартфоне:
- кто производитель;
- какая модель;
- что за версия Android или iOS установлена;
- используемая модель процессора;
- модель GPU;
- какое разрешение экрана;
- какие датчики установлены.
Очистка мусора
Ценна программка Antutu и тем, что она не только дает характеристику смартфону и сведения о нем, но и помогает улучшить некоторые показатели. В первую очередь это касается очистки памяти от мусора, что непосредственно влияет на скорость работы. Используйте бенчмарк, чтобы почистить систему от ненужных файлов, папок, кэша, которые занимают лишнее место. Оптимизация работы телефона позволит ему справляться с задачами быстрее.
Узнаем место устройства в рейтинге
Бенчмарк получил массу поклонников, так как распределяет все проверяемые устройства в рейтинге. Вы можете узнать, какой телефон считается на сегодняшний день самым лучшим, а какой находится в конце списка. Вы также можете оценить возможности своего аппарата. При этом радует понятный и логичный интерфейс, легкость тестирования и обилие дополнительных функций.
Минусы тестирования
Минусов у Antutu Benchmark не много, но они все-таки есть. К недоработкам можно отнести влияние на показатель результата программного обеспечения. То есть отличный телефон, на котором не обновлено ПО, покажет не самый лучший результат.
Как пользоваться приложением и узнать результат
- Открываем программу Antutu Benchmark
- Выбираем «тестировать». Если нажать кнопку «подробнее», вы получите информацию о телефоне.
На мониторе в круге вы можете видеть сменяющиеся проценты – значит, тестирование пошло. В это время смартфон лучше не трогать, чтоб не сбить анализ. Под цифрами вы можете видеть, что именно подвергается проверке – например, тест процессора или мультизадочности, устройств ввода и вывода, памяти, графики в 2D/3D режимах.
После окончания работы приложения, телефону будет присвоен балл. Появится голограмма с самыми популярными устройствами и ваш рейтинг – проверяемый гаджет займет место, соответствующее полученному результату. На вкладке подробно вы можете ознакомиться с выводами по каждому компоненту. На главном экране приложения будет отражаться последний результат, например «хороший выбор».
- В закладках вы найдете возможность сравнить свой телефон с предложенными. Для этого необходимо нажать правую кнопку «сравнить» напротив выбранной модели.
Где бесплатно скачать AnTuTu Benchmark?
Для iPhone | Скачать в App Store
Для Android | Скачать в Play Market
Источник: www.antutu.com
Автор: Киселевская Юлия
www.smartobzor.com
