Привет, Хабр! Сегодня мы хотим поговорить про сравнение антивирусов. Этим летом наш собственный антивирус, который входит в состав продуктов Acronis, прошел оценку специалистами AV-TEST. И в этом посте мы расскажем о том, что именно значит такая оценка, и какие паттерны проверки проходят средства защиты, прежде чем стать “AV-TEST Certified”. 

От эффективности антивируса зависит очень многое. Ведь даже одна нераспознанная угроза теоретически может привести к серьезному ущербу для пользователя. А досадные ложные срабатывания мешают выполнять основные задачи и порой становятся настоящей проблемой для сотрудников компаний и частных пользователей. Для нас наличие антивируса в системе защиты данных уже стало нормой. Однако некоторые пользователи хотят использовать другой антивирус. Тут нет никаких проблем, и средство удаления вредоносного ПО от Acronis можно отключить и использовать вместо него любой другой антивирус. 

Однако люди, у которых не хватает времени, компетенции или опыта на выбор антивируса успешно пользуются встроенным решением. А проведенные AV-TEST сравнения антивирусных движков, которые могут предоставляться сервис-провайдерами своим клиентам, показали очень приличный уровень отработки основных угроз и сценариев работы. Именно с этим тестом мы и хотим познакомить вас в этом посте.

Структура тестирования

Осенью 2021 года AV-TEST опубликовали результаты оценки четырех систем защиты, подходящих для сервис-провайдеров. Специалисты рассмотрели продукты от Acronis (Acronis Cyber Protect 15), Fortinet (Forticlient 7), N-able (Managed Antivirus 6.6) и Webroot (SecureAnywhere Business 9). Тестирование проводилось для платформы Microsoft Windows, а именно на базе Windows 10 Professional 64-bit, при наличии активного подключения к интернету и с последними установленными обновлениями перед самым запуском теста. 

Решения оценивались по двум критериям — степень защиты (Protection) и удобство использования (Usability). Это стандартная сертификация AV-TEST, которая позволяет отметить способность решений блокировать новейшие киберугрозы, а также избегать ошибок детектирования и не мешать пользователям делать свою работу. 

Защита в реальных условиях

Чтобы оценить возможности всех участников теста каждому продукту была выделена своя рабочая станция с установленной Windows 10. И на каждый из стендов была организована атака с использованием 173 вредоносных URL. Это весьма действенная методика, потому что многие современные угрозы попадают в систему именно после перехода по сомнительной ссылке в браузере или из сообщения электронной почты.

В этом тесте ни одна из систем не показала 100% срабатывания. В частности, Acronis достиг 98,84% результата, не удалив полностью 2 из 173 угроз. И хотя при этом опасность для системы уже отсутствовала, результат не вышел 100%. ПО от Fortinet и N-able получили по 97,11%, не отработав полностью уже по 5 тест-кейсов. Решение от Webroot определило только 155 из 173 вредоносных URL, показав уровень обнаружения в 89.66%.

Обнаружение вредоносного ПО

Функция сканирования по требованию или по наступлению какого-либо события также является важным инструментом. Возможности антивируса в этом случае определяют его потенциал обнаружить присутствующие в системе вредоносные исполняемые файлы, так называемые portable executable (PE). В тесте AV-TEST используется паттерн, когда системам защиты предлагается проверить файлы, возраст которых не превышает 2 недель — то есть найти потенциальные угрозы, способные заразить компьютер прямо сейчас.

На этом этапе системы защиты проводили сканирование своих рабочих станций, на каждой из которых оказалось по 4 577 вредоносных файлов. Все они были уже известны и широко распространены. Сканирование должно было показать уровень статического обнаружения угроз. 

После статического этапа специалисты AV-TEST собирают оставшиеся (то есть необнаруженные) файлы и запускают их на исполнение. Таким образом происходит проверка потенциала антивирусов к динамическому обнаружению. Такое сканирование производится несколько раз. 

В этом тесте продукты Acronis и N-able получили оценку в 100%, успешно распознав все 4 557 файлов. Fortinet и Webroot также показали неплохой уровень обнаружения в 99,98% и 99,82% соответственно.

Минимальное количество ложных срабатываний

Оценка параметра “Usability” происходила в два этапа. Тест был поделен на две части — статическая оценка количества ложных срабатываний на предварительно подготовленном тест-сете, а также динамическая оценка реагирования на действия пользователя, имитирующие реальную работу в интернете. 

Для проведения статического теста исследователи подобрали три набора файлов:

1. Чистые файлы Windows и Office (575 717 файлов)

2. Чистые файлы типовых бизнес-приложений (24 912 файлов)

3. Чистые файлы от сторонних разработчиков (318 120 файлов)

Ложные срабатывания на первом файл-сете — это очень плохо, потому что они говорят о способности решения нарушить работу и стабильность системы. Второй и третий сет, конечно, тоже желательно не блокировать, но ложные срабатывания тут уже не являются столько критически недопустимыми. 

Поэтому не удивительно, что в первом и втором наборе файлов ни одна система не нашла “фальшивых” угроз, но вот в третьем тесте каждая из систем совершила свое количество ошибок. В частности, решение Acronis неверно отметило 1 файл, продукты Fortinet и Webroot дали 5 и 7 ложных срабатываний соответственно. 

Динамический тест подразумевал типичное поведение пользователя: загрузка чистого программного обеспечения из интернета, его установка и использование. Во время этих действий решения по киберзащите были включены, а аналитики наблюдали, не будет ли ложных срабатываний, а может быть — даже блокировок легитимных действий.

Первая часть теста получила маркировку “High Priority”. В нее входили экземпляры широко распространенного ПО, в частности Adobe Reader, Google Chrome и Java (всего 19 различных программ).

Вторая часть “Standard Priority” включила в себя менее распространенное ПО, с которым знакомы не все пользователи (44 различных программы).

Надо сказать, что почти все участники теста показали здесь отличные результаты: Acronis, N-able и Webroot получили максимум, не испортив ни одного нерва пользователям. ПО от Fortinet ошиблось только один раз, неверно распознав единичный инсталлер. 

Заключение

В завершение хочется отметить, что тестирование, безусловно, проводилось в частном порядке и охватывало только 4 системы защиты, которые MSP могут использовать для предоставления сервиса кибербезопасности своим клиентам. Однако на практике масштабные тесты AV-TEST проходят по такой же схеме. И если ваш антивирус или система защиты имеет шильду “AV-TEST Certified”, значит установленное решение прошло подобные этапы испытания и показало хорошие результаты.