Ссылка на полный обзор с графиками

Доброго времени суток, меня зовут Григорий, мне интересны сетевые технологии, производительность и добыча данных в public internet. Хочу поделиться исследованием, которое я недавно закончил для локации US.

Несколько базовых терминов активно используемых в индустрии:

GEO filler - описание локации в которой прокси сервис будет искать устройства.

Target - целевой ресурс, с которым мы работаем через Proxy.

Latency - в этом исследовании я использую 90 квантиль TTFB(от старта до получения первого байта от Target).

Residential IPs - адреса принадлежащие настоящим пользовательским устройствам: TV приставкам, телефонам, лептопам, домашним роутерам через которые осуществляется доступ в public internet.

Tech SR(Technical Success Rate) - кол-во запросов с успешными ответами на уровне L7(Application layer) деленное на общее кол-во запросов.

Сразу к выводам(TL; DR)

BrightDataOxylabs и Netnut можно выделить как самых дорогих провайдеров. В этой группе, так и в целом, BrightData имеет огромное преимущество в кол-ве уникальных IP адресов, у Netnut их значительно меньше и много пересечений. В терминах Latency и BrightData и Netnut достаточно быстрые, а вот Oxylabs показал скромное значение и деградировал относительно своего же весеннего результата. Качество IP адресов у Bright и NetNut близко и далеко от лидерских позиций. У Oxylabs наоборот тут преимущество за счет доли Residential IPs.

InfaticaSOAX и Geonode  - средний ценовой сегмент. Infatica опережает двух других по количеству IPs, но сильно проигрывает по качеству, скорее всего, по-тому что разделяет их с другими вендорами. Geonode и SOAX сильны в доле уникальных адресов среди всех вендоров, но общее кол-во адресов у SOAX сильно отстает. По Tech SR и Latency SOAX, Infatica и SmartProxy занимают первые три строчки. С точки зрения качества в среднем сегменте большая разница: SOAX в верху общего списка а Geonode и Infatica входят в тройку снизу.

IPRoyalSmartproxyZettaProxies - нижний ценовой сегмент. ZettaProxies и Smartproxy имеют в два раза больше IP адресов чем IProyal. Но по уникальным среди всех вендоров адресам Smartproxy обгоняет конкурентов по сегменту значительно. IProyal и Smart имеют достаточно хороший tech SR и SmartProxy вместе с тем имеет очень достойную Latency. Нужно учесть, что у SOAX и SMART сильно выше доля IPV6, что увеличивает уникальность, но для некоторых задач они не подходят. Качество IProyal где-то посередине а ZettaProxies, IPRoyal, Infatica имеют самое скромное качество среди исследуемых вендоров. Можно заключить, что SmartProxy имеет достойные качество, latency, tech и при этом очень доступную цену(в сравнении с конкурентами).

Методика: Все тесты произведены из датацентра в Нидерландах, с хорошим каналом связи. Где позволял трафик, тесты были выполнены несколько раз, в разные дни, в prime time для US. Использовалась утилита ProxyChick и планировщик поверх нее.

Имейте в виду, что у большинства(но не у всех) провайдеров несколько ГЕО распределенных точек присутствия по миру и задержка при расположении клиента в другой части света будет отличаться.

  • Кол-во IP адресов уникальных в рамках теста конкретного провайдера

  • Кол-во IP адресов уникальных среди всех протестированных провайдеров

  • Кол-во IP адресов в секунду уникальных в камках теста конкретного провайдера

  • Нарастающий итог уникальных IPs в камках теста конкретного провайдера

  • Размер пересечения множеств адресов разных провайдеров.

Сколь много одних и тех адресов я могу получить и у провайдера А и у провайдера Б одновременно.

  • TTFB Latency in milliseconds

  • Technical Success Rate

Если ответ не уложился в 15s - это это считается ошибкой.

  • Цена за тарфик на публичном сайте

Комментарии (3)


  1. aborouhin
    07.12.2024 20:14

    Спасибо. Интересно было бы так же рассмотреть и сервисы с наличием российских IP, т.к. от иностранных адресов многие российские ресурсы или отгородились совсем, или как минимум рассматривают это как подозрительный фактор с применением особо жёсткой политики показа капчи, лимитов и пр.


    1. greggyNapalm Автор
      07.12.2024 20:14

      Думаю что по цене намного эффективнее покупать прокси с Российскими IPs у компаний из России. У меня ни одного аккаунта в них нет тк в масштабах мира рынок не самый популярный. Если кому-то это интересно и вы готовы помочь ресурсами(аккаунтами и тд ) - то пишите, можем сделать.

      Я бы хотел протестировать другие продукты: Antidetect web browsers, Captcha solving services, Scrapping APIs и тд. Надеюсь руки дойдут и понапишу постов про все это великолепие.


      1. aborouhin
        07.12.2024 20:14

        Думаю, что если до 2022 года у иностранных компаний и были пулы адресов из России, то уже закончились (как российским пользователям за предоставление адресов платить-то)... так что да, российские компании нужны. Может, в масштабах мира рынок и невелик, но если нужно спарсить сайт российского госоргана (внезапно, гос. данные часто огорожены капчами и лимитами получше коммерческих), выбора не остаётся.