На этой неделе Чад Скиппер из компании Cylance опубликовал статью «Security Testing Houses: Know the Truth!», которую должны прочитать люди, интересующиеся вопросами тестирования решений безопасности. В ней присутствует ряд серьезных обвинений в адрес некоторых тестовых лабораторий и производителей (без указания их названий), например:
– производители платят, чтобы тестовые результаты их продуктов показывали 100% эффективность
– подкуп тестовых лабораторий, чтобы скрыть негативные результаты тестирования.

Хотя я работаю в данной индустрии свыше 17 лет, я не знаю ни одного случая, описанного выше. Но при этом я согласен с большей частью статьи. Назову лишь некоторые моменты:

1. Устаревшие методики тестирования;
2. Недостаток используемых образцов;
3. Необходимость платить за участие в тестировании и т.д.

И это необходимо исправлять. Вот почему существуют такие организации, как AMTSO (Организация по разработке стандартов тестирования антивредоносных решений), и первое, что приходит мне на ум после прочтения вышеупомянутой статьи, — это то, что «нам необходимо пригласить Чада на следующее мероприятие AMTSO». Но, оказывается, когда я сказал об этом в AMTSO, мне сообщили, что он уже зарегистрировался на ближайшее мероприятие, которое пройдет в следующем месяце в Малаге. Замечательно!

Чад закончил свою статью словами «Test for Yourself». Я тоже согласен с этим, и на самом деле, это именно то, что уже происходит в течение длительного времени. Очень крупные наши клиенты из различных секторов экономики (правительственные организации, телекоммуникации, финансы, здравоохранение, промышленность) выбрали наше EDR-решение (Adaptive Defense 360) после того, как несколько месяцев сами интенсивно и тщательно тестировали различные решения.

Правда в том, что такой вид самостоятельных «do-it-yourself» тестов доступен только для крупных корпораций. Малые и средние предприятия не имеют достаточно ресурсов для корректного выполнения тщательного тестирования, а потому они при принятии собственного решения доверяют результатам профессиональных тестовых лабораторий.

Кевин Таунсенд из Security Week несколько месяцев назад написал о данной проблеме в своей фантастической статье «Inside The Competitive Testing Battlefield of Endpoint Security».

Среди всех регулярных тестов, проводимых крупнейшими тестовыми лабораториями, один из наиболее любимых мной тестов – это Real-World Protection Test, выполняемый лабораторией AV-Comparatives. В обобщенном тестовом отчете за февраль-июнь 2016 года с 1868 тестовыми испытаниями (PDF) проверьте, много ли производителей получили 100% результат с 0 ложных срабатываний? Никто. Очевидно, что Чад не может подразумевать AV-Comparatives, когда он говорит, что производители платят деньги за получение результата с 100% эффективностью.

То же самое я говорил в AV-Comparatives в прошлом году, предлагая протестировать наше EDR-решение Adaptive Defense 360 в сравнении с другими подобными решениями. Вы видели этот тест? Нет, потому что даже если Panda предложила бы заплатить за каждый продукт, включенный в этот тест, другие производители (Cylance НЕ является одним из них) не хотят.

Через 3 недели в Денвере я планирую обсудить эти вопросы на 26-й конференции Virus Bulletin с Рихардом Цвиненбергом из ESET в нашей дискуссионной секции «Anti-malware Testing Undercover».

Автор статьи: Луис Корронс