Ссылка на полный обзор с графиками
Доброго времени суток, меня зовут Григорий, мне интересны сетевые технологии, производительность и добыча данных в public internet. Хочу поделиться исследованием, которое я недавно закончил для локации US.
Несколько базовых терминов активно используемых в индустрии:
GEO filler - описание локации в которой прокси сервис будет искать устройства.
Target - целевой ресурс, с которым мы работаем через Proxy.
Latency - в этом исследовании я использую 90 квантиль TTFB(от старта до получения первого байта от Target).
Residential IPs - адреса принадлежащие настоящим пользовательским устройствам: TV приставкам, телефонам, лептопам, домашним роутерам через которые осуществляется доступ в public internet.
Tech SR(Technical Success Rate) - кол-во запросов с успешными ответами на уровне L7(Application layer) деленное на общее кол-во запросов.
Сразу к выводам(TL; DR)
BrightData, Oxylabs и Netnut можно выделить как самых дорогих провайдеров. В этой группе, так и в целом, BrightData имеет огромное преимущество в кол-ве уникальных IP адресов, у Netnut их значительно меньше и много пересечений. В терминах Latency и BrightData и Netnut достаточно быстрые, а вот Oxylabs показал скромное значение и деградировал относительно своего же весеннего результата. Качество IP адресов у Bright и NetNut близко и далеко от лидерских позиций. У Oxylabs наоборот тут преимущество за счет доли Residential IPs.
Infatica, SOAX и Geonode - средний ценовой сегмент. Infatica опережает двух других по количеству IPs, но сильно проигрывает по качеству, скорее всего, по-тому что разделяет их с другими вендорами. Geonode и SOAX сильны в доле уникальных адресов среди всех вендоров, но общее кол-во адресов у SOAX сильно отстает. По Tech SR и Latency SOAX, Infatica и SmartProxy занимают первые три строчки. С точки зрения качества в среднем сегменте большая разница: SOAX в верху общего списка а Geonode и Infatica входят в тройку снизу.
IPRoyal, Smartproxy, ZettaProxies - нижний ценовой сегмент. ZettaProxies и Smartproxy имеют в два раза больше IP адресов чем IProyal. Но по уникальным среди всех вендоров адресам Smartproxy обгоняет конкурентов по сегменту значительно. IProyal и Smart имеют достаточно хороший tech SR и SmartProxy вместе с тем имеет очень достойную Latency. Нужно учесть, что у SOAX и SMART сильно выше доля IPV6, что увеличивает уникальность, но для некоторых задач они не подходят. Качество IProyal где-то посередине а ZettaProxies, IPRoyal, Infatica имеют самое скромное качество среди исследуемых вендоров. Можно заключить, что SmartProxy имеет достойные качество, latency, tech и при этом очень доступную цену(в сравнении с конкурентами).
Методика: Все тесты произведены из датацентра в Нидерландах, с хорошим каналом связи. Где позволял трафик, тесты были выполнены несколько раз, в разные дни, в prime time для US. Использовалась утилита ProxyChick и планировщик поверх нее.
Имейте в виду, что у большинства(но не у всех) провайдеров несколько ГЕО распределенных точек присутствия по миру и задержка при расположении клиента в другой части света будет отличаться.
Кол-во IP адресов уникальных в рамках теста конкретного провайдера
Кол-во IP адресов уникальных среди всех протестированных провайдеров
Кол-во IP адресов в секунду уникальных в камках теста конкретного провайдера
Нарастающий итог уникальных IPs в камках теста конкретного провайдера
Размер пересечения множеств адресов разных провайдеров.
Сколь много одних и тех адресов я могу получить и у провайдера А и у провайдера Б одновременно.
TTFB Latency in milliseconds
Technical Success Rate
Если ответ не уложился в 15s - это это считается ошибкой.
Цена за тарфик на публичном сайте
aborouhin
Спасибо. Интересно было бы так же рассмотреть и сервисы с наличием российских IP, т.к. от иностранных адресов многие российские ресурсы или отгородились совсем, или как минимум рассматривают это как подозрительный фактор с применением особо жёсткой политики показа капчи, лимитов и пр.
greggyNapalm Автор
Думаю что по цене намного эффективнее покупать прокси с Российскими IPs у компаний из России. У меня ни одного аккаунта в них нет тк в масштабах мира рынок не самый популярный. Если кому-то это интересно и вы готовы помочь ресурсами(аккаунтами и тд ) - то пишите, можем сделать.
Я бы хотел протестировать другие продукты: Antidetect web browsers, Captcha solving services, Scrapping APIs и тд. Надеюсь руки дойдут и понапишу постов про все это великолепие.
aborouhin
Думаю, что если до 2022 года у иностранных компаний и были пулы адресов из России, то уже закончились (как российским пользователям за предоставление адресов платить-то)... так что да, российские компании нужны. Может, в масштабах мира рынок и невелик, но если нужно спарсить сайт российского госоргана (внезапно, гос. данные часто огорожены капчами и лимитами получше коммерческих), выбора не остаётся.