Эксперты AnandTech выпустили расследование, посвященное возможным махинациям тайваньского MediaTek. Производителя микропроцессоров подозревают в том, что он искусственно завышает показатели производительности в тестах.
Авторы расследования проанализировали тесты и пришли к выводу, что компания манипулирует настройками Dynamic Voltage and Frequency Scaling (Динамическое масштабирование частоты и напряжения). Технология отвечает за энергосбережение, частоту процессора при нагрузке и некоторые другие параметры.
Подозрения у экспертов вызвала версия смартфона Oppo Reno3 Pro, вышедшая в Европе. Она работает на базе чипсета MediaTek Helio P95. В системном бенчмарке PCMark производительность SoC была выше, чем у подобного класса процессоров с ядрами Cortex-A75. Так, смартфон оказался быстрее, чем китайский Reno3 на базе Dimensity 1000L, хотя последний чип вышел позднее и отличался более высокой производительностью. Интересно, что у китайской версии устройства на базе Snapdragon 765G никаких отклонений в показателях производительности нет, таким образом, сама Oppo не имеет отношения к искажению показателей, делают вывод авторы материала.
Эксперты перепроверили показатели с помощью анонимной версии PCMark от UL. Выяснилось, что разница в общем балле производительности достигает почти 30 %, а в некоторых показателях (производительность в текстовом редакторе) — и 75%.
Фото: www.anandtech.comЗатем расследователи изучили файлы прошивки устройства. В них обнаружился power_whitelist_cfg.xml, который обычно находится в директории /vendor/etc.
Фото: www.anandtech.com
Файл включал настройки управления питанием для разных популярных синтетических тестов, в том числе GeekBench, AnTuTu, 3DBench, PCMark, а изменяемым параметром был выставлен «спортивный режим» (Sports Mode).
Фото: www.anandtech.com
Были обнаружены и настройки для профессионального теста GFXBench.
Фото: www.anandtech.com
«Спортивный режим» может изменить параметры для SoC, в том числе, настройки работы контроллера памяти, чтобы постоянно удерживать максимальную частоту работы. В данном режиме ядра CPU быстрее набирают максимальную частоту и дольше её удерживают.
Затем журналисты проверили и другие устройства, работающие на процессорах MediaTek. Вот сводная таблица итогов:
Фото: www.anandtech.comИнтересно, что в списке есть модель Sony XA1 2016 года. Производитель старался избегать подобной практики, из чего специалисты сделали вывод, что Mediatek внедряет свои настройки в программные пакеты поддержки платформы Board Support Package.
Кстати, в новой прошивке для Oppo Reno3 Pro файлов конфигурации «спортивного режима» для тестов уже нет. А вот в бенчмарках производительность по-прежнему завышается.
MediaTek утверждает, что бенчмарки отражают реальную картину по возможностям чипсетов, а все вопросы стоит адресовать производителям устройств.
Ранее, в 2013 году, в подобных действиях уже уличили Samsung, которая через DVFS завышала результаты производительности в бенчмарках чипсетов Exynos в смартфонах Galaxy S4 и Galaxy Note 3. В итоге компания проиграла суд на сумму $13,4 млн.
Затем на недобросовестной практике поймали Huawei. Компания при бенчмарках отключала в своих устройствах механизм, который отвечал за троттлинг процессора, и они работали на максимуме вплоть до полного отключения от перегрева. Теперь же Huawei сделала этот механизм более прозрачным.
См. также:
ferosod
Непонятна суть претензий. В бенчмарках нужно «выложиться на полную», а в реальной работе — найти баланс между производительностью и энергопотреблением, иначе потребители взвоют, когда смартфон сядет через 2 часа работы.
rstepanov
Если есть «белый список» бенчмарков — в других приложениях «спортивный» режим активирован не будет, следовательно в условно полезных приложениях телефон никогда не будет «выкладываться на полную».
ferosod
Будет. Просто на более короткие промежутки времени, а в остальное время будет троттлить и снижать частоты, чтобы устройство жило дольше без подзарядки. Как и любой другой процессор.
bondarenkod
У вас напряжение в бытовой сети 160 вольт вместо 230. Когда приходят проверяющие напряжение становится 230.
Давление воды в трубах 1/6 от номинального, вы вызываете ответственных лиц, собираете комиссию, на момент проверки давление нормальное.
Вы жалуетесь на несоотвествие.
А Валерий Петрович, начальник, вам рассказывает:
Сочуствую)
ferosod
Зачем сравнивать несравнимое?
100% от номинального напряжения в сети и давления в водопроводе не причинит никаких проблем. Постоянная работа процессора на номинальной частоте заставит устройство греться и быстро разряжаться.
P.S. Чему сочувствуете?
dartraiden
В реальности уже был хороший пример: уровень выбросов у некоторых автопроизводителей. Который снижался лишь во время тестов, хотя заявлено было, что уровень выбросов такой всегда.
alexey_c
Это тоже так себе пример. Многие пришли к реальному разочарованию, узнав, что их V8 м 240 сил на самом деле 360, но задавленный электроникой только лишь для того, «чтобы экологам лучше спалось».
Это в целом не плохо, но такой осадочек остался… Имеешь, а использовать не можешь…
Мы в ИТ мире давно уже к такому привыкли, а граждане — пользователи автомобилей к такому повороту были не готовы.
rstepanov
Это не соответствует моим ожиданиям при покупке и скорее всего приведет к возврату устройства и/или я больше никогда не буду покупать устройства этого производителя.
Касательно телефонов мне в принципе пофиг какая там производительность, лишь бы не тормозило совсем очевидно, но вот ноутбуки, которые вроде бы быстрые и долго работают (а по факту — выберите из перечисленного что-то одно, либо быстро, либо долго) — категорически не устраивают.
beeruser
Не будет. Иначе бы переименованные бенчмарки могли достигнуть этих показателей.
Там же не только на максимум врубаются частоты, но и твикается ядро/драйвера, что, видимо для обычных приложений недоступно.
Zolg
В тестах на экологичность нужно выложиться на полную, а в реальной эксплуатации — найти баланс между уровнями оксидов азота в выхлопе, мощностью двигателя и количеством сжигаемой солярки.
© Volkswagen
ferosod
Я знал, что эта аналогия появится в комментах, но здесь ситуация иная: VW не мог обеспечить одновременно и экологичность, и мощность двигателя. Потому занижал мощность на тестах.
С процессорами все несколько иначе — раз CPU достиг некоторого результата в бенчмарке, значит, он способен на эту производительность. Другой вопрос, что он не сможет выдавать эту же производительность в долговременной перспективе из-за проблем с энергопотреблением, охлаждением и т.д.
Если уж проводить параллели с автомобилями — при замере мощности на стенде газ давится постоянно «в пол», чтобы получить максимальный результат, но никто так не ездит постоянно в жизни.
dartraiden
vsb
Бенчмарки это не отдельный класс приложений. Хороший бенчмарк симулирует работу обычных приложений определённого класса. Пользователи выбирают процессоры по результатам бенчмарков. Поэтому результаты должны быть приближены к реальности настолько, насколько это возможно. Иначе выйдет ситуация, что пользователь выбирает телефон на Mediatek, который показывает себя хорошо в бенчмарке, но на практике он оказывается хуже, чем процессоры конкурентов.
AllexIn
Нормальный бенчмарк проверят всё сразу. И если проц для бенча выкручен на максимум, значит будет провал по времени работы и нагреву.
Если бенч можно тупо обмануть — проблемы бенча, а не железа.
Zolg
Судя по статье весь тупой обман заключается в if (appname == 'benchmark') overclock()