Необычная активность bing-ботов наблюдается со вчерашнего дня. И, казалось бы, в сканировании сайтов поисковыми системами (и даже bing'ом) нет ничего плохого, но только до тех пор, пока они соблюдают собственные правила идентификации.

В разборе дальше будет упомянут только 51.143.124.155, хотя в логах также мелькали
52.250.62.82,
52.250.19.204,
52.250.119.153,
но они ведут себя более культурно.

Как выглядит проблема на примере выборки bing ботов из вчерашнего лога одного сайта:

$ cat ./20201026* | grep -F bingbot | awk '{print $1}' | sort | uniq -c | sort -rn | head -10
 404582 51.143.124.155
  10449 157.55.39.174
  10037 207.46.13.162
  10036 207.46.13.86
  10008 157.55.39.152
   6638 207.46.13.207
   4993 207.46.13.238
   4113 157.55.39.200
   3897 157.55.39.205
   2995 157.55.39.166

Как выглядит типичный «старый» bing-бот:

$ whois 157.55.39.174 | grep -i "org[-]*name"
OrgName:        Microsoft Corporation

$ host 157.55.39.174
174.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-174.search.msn.com.

Они базируются в сетях
157.56.0.0/14,
157.54.0.0/15,
157.60.0.0/16,
207.46.0.0/16
и успешно проходят проверку на www.bing.com/toolbox/verify-bingbot-verdict:



Как выглядят «новые» боты:

$ whois 51.143.124.155 | grep -i "org[-]*name"
org-name:       Microsoft Limited

$ host 51.143.124.155 
Host 155.124.143.51.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.62.82
Host 82.62.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.19.204
Host 204.19.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.119.153
Host 153.119.250.52.in-addr.arpa not found: 3(NXDOMAIN)

И соответственно:



При этом почерк, активность сразу на всех сайтах, а также сообщения коллег, о том, что после блокировки этих «новых» ip поступают уведомления Bing Webmaster Tools о недоступности сайта, позволяют сделать заключение, о том, что эти боты действительно являются делом рук microsoft.

Запросы в саппорт и абузы, разумеется, игнорируются.

В общем, не бейте сразу ботов из сетей 51.140.0.0/14, 52.224.0.0/11. Вероятно, они являются полезными (или хотя бы безобидными) бифидобактериями.

Upd (28.10.2020 08:48 MSK):
Вчера (в 27/Oct/2020:11:56:24 +0300) запросы прекратились.
На абузы ответов так и не поступило.
В твиттере @facan появился комментарий к аналогичному запросу:

… some sites reported that a small percentage of Bing crawler was not DNS resolving appropriately and we were crawling outside of usual IPs for few days. We fixed that yesterday.

Upd (29.10.2020 19:23 MSK):
Microsoft в своем репертуаре — около часа назад его старые боты «потеряли» обратную зону:

$ host 157.55.39.174
Host 174.39.55.157.in-addr.arpa not found: 3(NXDOMAIN)
$ host 157.55.39.152
Host 152.39.55.157.in-addr.arpa not found: 3(NXDOMAIN)
$ host 157.55.39.200
Host 200.39.55.157.in-addr.arpa not found: 3(NXDOMAIN)
$ host 157.55.39.205
Host 205.39.55.157.in-addr.arpa not found: 3(NXDOMAIN)
$ host 157.55.39.166
Host 166.39.55.157.in-addr.arpa not found: 3(NXDOMAIN)