В ноябре я публиковал статью «Яндекс.Метеум – технология без технологии. Маркетинг с точностью до района», где соотносил качество прогнозов Яндекса с другими сервиса. Акцент делался на температуре, без разбора других параметров. Вывод был таков – температурный прогноз Яндекса не показывает каких-то исключительных результатов по сравнению с уже зарекомендовавшими себя прогностическими сервисами. Рекомендую ознакомиться с полным текстом. На этот раз пришло время проверить другой ключевой параметр – осадки.

Условия проверки и контрольные прогнозы

Главная цель исследования – понять качество прогноза осадков у Яндекса в сравнении с другими прогностическими сервисами. Обращаю внимание, что акцент делался на прогнозировании явления, а не на фазе осадков или их количестве.

В качестве контрольных прогнозов использовались данные сайта intellicast.com, который в январе объединился с сервисом wundeground, но на прогнозах это никак не сказалось, изменился лишь интерфейс. Второй контрольный прогноз – это комплексный прогноз с сайта методического кабинета Гидрометцентра России. Об этом прогнозе я рассказывал в предыдущей публикации.

Прогноз перехватывались в ручном режиме. Период оценки – метеорологический день, то есть примерно с 8-9 часов утра до 20-21 часа вечера. Ночные осадки я в расчёт не брал. Прогнозы оценивались с 3 ноября 2018 года по 31 марта 2019 года, то есть за тот промежуток времени, на который в Европейской части России и части Урала приходится климатическая зима, и влияние конвекции отсутствует.

У Яндекса прогнозы также захватывались только для дневного времени суток. При этом я старался соотносить прогнозы с сайта с теми прогнозами, которые в push-уведомлениях отправляла Алиса. Позже выяснилось, что прогнозы между собой не согласуются, но об этом мы ещё поговорим.

Города выбирались так, чтобы я мог захватить часть юга Урала и основную часть Европейской территории России. Я провёл линию от Кургана до Москвы, и выбрал города на этом участке с приблизительно равными интервалами. Это Курган, Уфа, Казань и Москва. Среднее расстояние между точками 591 км.

В качестве методики оценки использовалось Наставление по краткосрочным прогнозам погоды общего назначения, которое используют в Росгидромете для оценки прогнозов до 72 часов. Как я уже сказал, для меня было важно оценить сам факт выпадения осадков, а не их количество или фазу. Поэтому в таблицы я вносил два параметра: сухо (без осадков) или осадки.

Если сайт прогнозировал любые осадки в любой час дня, то в прогнозе выставлялась градация «Осадки», если в прогнозе осадков не было, то «Сухо».

В качестве фактических сведений использовались официальные ряды станций Росгидромета. Если на метеостанции осадкомер фиксировал хотя бы 0,1 мм за 12 часов, то в таблицу вписывался статус «Осадки». Далее прогностическая и фактическая градации соотносились между собой. Привожу номера метеостанций, которые были использованы в исследовании: 28661 (Курган), 28722 (Уфа), 27595 (Казань), 27612 (Москва, ВДНХ).

Например, Яндекс днём прогнозирует слабый снег, а метеостанция осадков не фиксирует, то прогнозу ставится оправдываемость 0%. Если осадки есть в любом количестве, то 100%. Таким образом, все прогнозы были помещены в равные условия оценки.

Для прозрачности исследования, публикую ссылку на исходные таблицы со всеми данными. Также я старался не только оценивать прогнозы, но и соотносить их с синоптическими картами нулевой заблаговременности, что позволило выявить те синоптические ситуации, при которых Яндекс даёт самые низкие результаты оправдываемости.

Результаты исследования

Изначально я выдвинул гипотезу, что Яндекс покажет схожие результаты с другими сайтами, либо они будут чуть ниже уровня конкурентов. С этой гипотезой мне пришлось распрощаться уже в конце ноября, когда выяснилось, что точность Яндекса сопоставима с подбрасыванием монетки. Результаты были на уровне случайных прогнозов и варьировались от 50 до 60%.
За 5 месяцев точность Яндекса по осадкам на 24 часа составила 58%. У intellicast/wunderground – 81%, а у комплексного прогноза Гидрометцентра – 80%!



У Яндекса удалось обнаружить интересную особенность – чем дальше от Москвы, тем ниже точность. В Кургане средняя точность составила 45.6%, а в Москве – 67.8%. Прогнозы конкурентов варьировались от 75% до 85%, что выглядит очень достойно для зимнего времени года.



Главная проблема Яндекса в зимнее время – ложные осадки. Яндекс прогнозирует осадки, а остальные сервисы ожидают сухую погоду, типичная ситуация. Самое печальное, что Яндекс прогнозирует осадки даже на тех территориях, над которыми располагается обширный антициклон. Например, 12 ноября Яндекс прогнозировал для Казани осадки в течение всего дня, но их не должно было быть, потому что над регионом проходил центр антициклона, там стоит ясная погода и осадков не может быть физически.



Схожая ситуация повторилась 20 декабря, но уже в Кургане. Вновь над городом установился антициклон, но Яндекс упорно выдавал осадки. Таких странных ситуаций было очень много, я просто привёл наиболее яркие примеры.



Другая проблема оказалась с Алисой и её push-уведомлениями, которые она рассылает через основное приложение «Яндекс». Например, 3 января на сайте было написано, что 4 января осадков не будет, а Алиса отправила мне: «Снег – это красиво. Завтра небольшой снег». За все 5 месяцев было всего несколько таких случаев, но факт разногласия между сервисами наводит на разные мысли.



Разумеется, чаще всего Алиса сообщала тот же самый прогноз, который был указан на сайте, но никаких осадков не было. Ошибка «Метеума» транслируется на работу всех остальных сервисов и с этим надо что-то делать.

Климатические данные

С прогнозом осадков на 24 часа разобрались, но я хотел бы обозначить ещё одну важную проблему, которая присутствует в работе сервиса «Яндекс. Погода».
В предыдущем материале я уже писал, что Яндекс публикует среднемесячное количество осадков по всем городам. Проблема заключается в источнике данных. На сайте указан источник NOAA, могу предположить, что Яндекс просто используют данные американского компьютерного реанализа CFSR. Реанализ подходит для исследования температуры, но он крайне плох для изучения осадков. Компьютерная модель плохо воспроизводит фактические осадки, особенно слабой интенсивности. Осадкомер же на метеостанции фиксирует реальное количество выпавших осадков, а компьютер (реанализ) рассчитывает виртуальное. Из-за этого может возникать ошибка.

Особенно сильно разница проявляется летом, когда запускаются конвективные процессы, а модели с ними очень плохо дружат. Фронтальные осадки просчитать намного проще, чем осадки после прохождения грозовой ячейки (грозовой тучи). Ошибка увеличивается в условиях горной местности или в условиях морского климата. Поэтому при изучении климата желательно опираться только на данные ближайшей метеостанции. К компьютерному реанализу следует прибегать только в том случае, если аналоговых данных у нас просто нет.



Например, Яндекс Уфе за год насчитал 803 мм осадков, хотя по факту годовая норма составляет 586 мм. Яндекс на 37% завысил количество осадков. Во Владивостоке Яндекс, наоборот, занизил осадки на 40%. По версии Яндекса в Уфе выпадает осадков больше, чем во Владивостоке, что является абсолютной глупостью. Я писал в Яндекс на счёт этой проблемы, но моё обращение осталось без внимания. Хотя, скачать готовые массивы по станциям и обработать их, для Яндекса, я думаю, не такая уж и большая проблема.

Вывод

Прогноз Яндекса по осадкам на 24 часа сильно уступает по качеству другим прогностическим сервисам. За 5 месяцев точность Яндекса по осадкам на 24 часа составила 58%. У intellicast/wunderground – 81%, а у комплексного прогноза Гидрометцентра – 80%! У Яндекса удалось обнаружить интересную особенность – чем дальше от Москвы, тем ниже точность. В Кургане средняя точность составила 45.6%, а в Москве – 67.8%. Параметры прогноза между собой не согласуются: осадки прогнозируются при ясной антициклональной погоде.
Настоятельно не рекомендую использовать сведения Яндекса в качестве базового или единственного источника прогноза.



Главное изображение: insidecorp.ru
Синоптические карты GFS — meteoweb.ru/alter/prec.php