Под катом я расскажу о том, что такое наукастинг и как мы над ним работали.
Текущая погода влияет на огромное количество наших ежедневных решений. Если за окном сильный снегопад, мы раздумываем, как нам поехать на работу — на машине или на общественном транспорте. Глядя в окно, решаем, брать ли с собой зонт и нужна ли непромокаемая куртка. Даже стоя на выходе из метро в проливной дождь, мы гадаем, когда он кончится. Если через пять минут — то можно подождать и прийти на встречу в сухом костюме, а если через полчаса — то придётся либо промокнуть, либо опоздать. Для всех этих небольших, но важных решений нам нужна максимально точная информация о том, какая погода сейчас и как она будет меняться в ближайшей перспективе. Вы наверняка сталкивались с ситуацией, когда в одном районе города светит солнце, а в другом льёт проливной дождь с грозой.
Как это делалось раньше
Поскольку текущая погода важна нашим пользователям, именно об этом параметре сервиса люди чаще всего пишут в отзывах, включая негативные. Казалось бы, нужно всего лишь посмотреть за окно и показать на сервисе правильную погоду. Но описать ситуацию за окном в любой точке страны или мира — задача не из простых.
Во-первых, метеостанции расположены далеко друг от друга и измеряют параметры в строго определённые промежутки времени. Казань, например, является огромным городом, а метеостанций там всего две: в центре и в аэропорту. Температура и другие показатели в этих точках и в соседних с ними районах могут кардинально различаться.
Во-вторых, из-за ошибок в начальных условиях прогнозные модели тоже не могут служить надёжным источником информации о фактической обстановке на улице.
Да и требования к сиюминутному прогнозу значительно выше: всегда можно выглянуть за дверь и проверить, правы ли метеорологи.
Ещё раз напомню, что в Яндекс.Погоде используется технология Метеум, основанная на метеорологических моделях и машинном обучении. Построенная на базе Матрикснета и обученная на больших массивах данных, наша формула оптимальным образом комбинирует подаваемые на вход факторы. В итоге прогноз получается заметно более точным.
А чтобы показать на сервисе нынешнюю погоду, мы (помимо прогнозов из математических моделей) подмешиваем в формулу измерения, недавно полученные на ближайших метеостанциях. Такой подход существенно лучше других вариантов решения поставленной задачи. Точность определения погоды в ближайшие часы сильно возрастает, и это неудивительно, поскольку мы учитываем наиболее оперативную и точную информацию. Наши метрики существенно возросли по сравнению с нашими же собственными прогнозами, построенными до того, как мы начали подмешивать свежие данные с метеостанций. В мае этого года, сразу после их добавления, мы расширили зону действия Метеума на всю Россию, а в ноябре-декабре — на Украину, Беларусь и Казахстан.
Но даже комбинированный подход из моделей и данных, склеенных при помощи Матрикснета, не даёт желаемой точности. Особенно это касается осадков — одного из самых важных для пользователя параметров. Основная причина такого несовершенства — недостаток данных. Метеостанции, как уже было сказано, расположены далеко друг от друга. Используя взятые со станций данные, вы не можете сообщить пользователю, что ему стоит подождать 10 минут в подземном переходе и проливной дождь на улице сменится переменной облачностью. Где можно достать ещё какие-нибудь данные о состоянии атмосферы?
Нужно больше данных
Самым последним достижением науки и техники в области мониторинга осадков является метеорологический радиолокатор. Примерно раз в 10 минут он строит трёхмерный снимок атмосферы в радиусе 200 километров от своего местоположения по горизонтали и до 10 километров по вертикали. По принципу действия радиолокатор очень похож на авиационный радар, только на снимке видны не самолёты, а области атмосферы, где есть капли воды размером более 50 микрометров. Если такие капли и правда есть, то, скорее всего, из облака, в котором они находятся, выпадают осадки. Вот как выглядит сам радар и результаты его работы:
В России уже сейчас существует сеть метеорологических радаров достаточно высокого качества. Они установлены в наиболее населённых и интересных с метеорологической точки зрения регионах. Область покрытия радаров показана на карте:
Кстати, в незакрашенной области проживает более 40 процентов населения России. Данные радара имеют пространственное разрешение 2 на 2 километра на пиксель, что позволяет описывать текущую погоду с точностью до небольшого микрорайона.
В этом году Яндекс получил официальный доступ к измерениям, которые проводятся на сети радиолокаторов Росгидромета. С тех пор мы интенсивно работали над добавлением этих данных в наши продукты.
Сегодня мы готовы представить технологию наукастинга — краткосрочного гиперлокального прогноза осадков. Наукастинг — слово, пришедшее к нам из английского языка, сложенное из двух слов: now и forecasting, то есть дословно «прогноз на сейчас». А на самом деле через продукты Яндекса теперь можно узнать о распределении осадков во временном промежутке от двух часов назад до двух часов вперёд.
Наш новый продукт основан на свёрточных нейронных сетях. С точки зрения математики задача формулируется следующим образом: необходимо по последовательности радарных снимков и релевантной метеорологической информации предсказать будущие карты осадков с временным разрешением в 10 минут на 2 часа вперёд.
Для решения этой задачи мы выбрали свёрточную сеть определённой архитектуры. Каждый свёрточный слой сети представляет собой последовательный набор фильтров, автоматически выделяющих признаки из набора данных, подаваемых на вход. Совокупность таких слоёв позволяет выделить большое количество признаков, по которым можно судить о том, что будет происходить с осадками в выделенной области. Начнутся они или, наоборот, закончатся? Или же просто повысится их интенсивность? Всё это можно определить.
Чтобы настроить фильтры свёрточной сети и веса между ними, мы формируем обучающую выборку достаточно большого объёма — сейчас она состоит более чем из 800 000 кадров с каждого радара, прошедших предварительную обработку. Обучение нейронной сети происходит на кластере из GPU.
Вот как выглядит эта сеть:
Архитектура сети
В целом, движение осадков можно разделить на две компоненты: перенос области с осадками по направлению ветра и изменение формы области. За каждую из компонент отвечают отдельные ветви нейросети, что позволяет гибко подбирать параметры оптимизации.
Что касается data flow — вот как его упрощённо описывает автор, nes8bit:
Данные радаров и наукастинга, которые передаются на бэкенд погоды, сначала интерполируются с азимутальной проекции, центром которой является радар, на регулярную широтно-долготную. Затем на полученной сетке строятся контуры, описывающие области осадков в зависимости от интенсивности и типа. Контуры хранятся в виде полигонов в PostgreSQL. Часть данных, например с описанием облачности, хранится в растровом виде в том же PostgreSQL: это позволяет быстро отвечать о значениях определённых переменных в конкретной координате, одновременно сохраняя консистетность с векторизированным представлением в виде полигонов.
Метрики
Мы оцениваем точность продукта и настраиваем наш нейросетевой прогноз погоды по нескольким типам метрик.
Во-первых, нам важно, насколько правильно мы предсказали каждый следующий кадр нашего прогноза. Мы используем покадровую метрику f-score, которую можно определить как «точность предсказания текущего снимка».
Во-вторых, нам интересны метрики для тех точек пространства, где в ближайшее время произойдёт изменение погодного состояния. С помощью них мы узнаём самое главное: насколько точно определено время начала или окончания дождя и, соответственно, насколько хорошо срабатывает сценарий, при котором пользователь ждёт окончания осадков. Мы находим нужные точки и фиксируем соответствия и несоответствия между прогнозом и реальностью в каждый момент времени.
Вот как выглядит f-мера для первой метрики в зависимости от горизонта:
Надо сказать, что если рассчитать такие же строгие метрики для регулярного прогноза любого провайдера, значения будут не больше 0,1, а чаще — очень близки к нулю. Это связано как с различиями в самой методике прогнозирования, так и с отсутствием большого и важного источника данных.
Мы выбрали типы метрик, ориентируясь на то, как новые данные будут представлены в продукте. На главной странице Яндекс.Погоды теперь есть сообщение об осадках в ближайшие два часа. Из этого блока можно узнать, что осадки закончатся с минуты на минуту или начнутся в течение получаса. Нажав на сообщение, вы увидите, как области с осадками распределены в вашем районе. На этой же карте отмечены и все остальные области в зонах действия радаров.
Вместо послесловия
Скажу ещё пару слов о том, о чём говорил в самом начале. Технология, которую мы представили сегодня, разработана специально для того, чтобы сделать жизнь наших пользователей чуть более комфортной. Гиперлокальный краткосрочный прогноз осадков поможет людям принимать решения, основываясь на информации из принципиально нового источника — сети метеорологических радаров. Данные об интенсивном снегопаде с детализацией до районов вашего города помогут узнать о количестве снега на дорогах, а предупреждение о проливном дожде позволит не простудиться весной.
Сейчас это может показаться невероятным, но скоро наступит лето и все мы будем кататься на велосипедах, роликовых коньках, гулять в парках, отдыхать на природе. И с сегодняшнего дня можно строить планы на ближайшее время, глядя не на низкий или высокий полёт ласточек, а на страницу и приложения Яндекс.Погоды. Один всем вам знакомый персонаж уже так и делает.
Комментарии (88)
ZOXEXIVO
15.12.2016 11:44-17А что вам мешало раньше использовать такое? Хайпа не было?
imalion
15.12.2016 11:51+9Наличие хайпа — штука важная, но данные и технологии их обработки еще важнее. Мы работали над получением данных и над методами прогнозирования, и вот теперь готовы представить их пользователям.
shara
15.12.2016 14:03+2Вот да, то что получилось данные выцарапать — это просто отлично. Пытался сделать такое на графических данных ДМРЛ с meteoinfo простой интерполяцией. И оно даже работало, но потом росгидромет доканал беларусов и они дополнительно усложнили получение данных, а дальше играть в щит и меч уже не было никакого желания.
bougakov
15.12.2016 11:50+1Это замечательно. Вот ещё бы в документации на API был бы чёткий и понятный прайс-лист на доступ к данным, а служба поддержки бы озвучивала условия подписки, а не отделывалась шаблонными ответами…
imalion
15.12.2016 11:55+1Пожалуйста, напишите мне в личку — расскажу и про прайс-лист и про условия подписки.
PapaBubaDiop
15.12.2016 11:55Скажите, каким образом вы обрабатываете данные по высоте? Которые до 10 км.
roversochi
26.03.2017 13:57+9Основная цель этой поделки — не получить готовое устройство. Это лишь желаемый результат. Когда я начинал его делать года 3 назад, это был для меня первый опыт работы с ардуиной и вообще с радиоэлектроникой. До этого все ограничивалось пайкой резистор+светодиод. А работая над этим проектом я со временем узнал очень много всего. Так что даже если ничего толкового в итоге не получится, все равно оно стоило того. Как-то так
AntonSor
15.12.2016 12:12+11А почему Гидрометеоцентр не использует такие методы?
Chupakabra303
15.12.2016 23:39-1Теперь данные метеорадаров, которые по идее должны быть бесплатны и публичны, будет продавать яндекс.
LevOrdabesov
15.12.2016 12:12-1Есть у нас проект: мини-метеостанция с детектом осадков (в т.ч. снега) в реальном времени и смешной ценой.
Делали-делали, но, похоже, не успели.
Если Яндекс и правда даёт заявленную точность – это, конечно, здорово.
Shamov
15.12.2016 12:35+1Проблема в том, что предсказывать нужно не только осадки, но и действия пользователя. Мне, например, иногда не удаётся сходить в кино из-за дождя. Бывало весь день планируешь пойти на определённый фильм, а затем, как раз перед выходом, начинается дождь. И заканчивается тогда, когда уже поздно дёргаться. Знал бы заранее, что будет дождь, вышел бы на полчаса раньше и погулял бы эти полчаса по торговому центру. Но даже если будет возможность заранее узнавать о дожде, то это всё равно не поможет. Кино не настолько важно, чтобы заморачиваться и смотреть прогноз заранее. Проще не пойти в случае дождя. А вот если бы кто-то мог предсказать, что я намерен пойти в кино, и директивным образом сообщил мне, что я должен выйти на полчаса раньше, потому что будет дождь, то это совсем другое дело.
shadowpanther
15.12.2016 13:01Google Now уже подсказывает, когда выдвинуться в сторону аэропорта, если увидел авиабилеты в почте.
Ничто не мешает Яндексу, когда у него будет свой «ассистент», увидеть билеты в кино, посчитать дорогу с учетом пробок и погоды, и подсказать, когда выходить. Только вот самого ассистента у Яндекса пока нет.
sergsh
15.12.2016 12:35+18Метеоданные должны бы быть открытыми. В том числе и с метео радаров. Тогда пользователи могли бы сравнить точности разных прогнозов. А пока мы видим монополию на данные Гидромета и Яндекса.
imalion
15.12.2016 12:39+4Вы знаете, про открытость данных я с вами полностью согласен. Однако, если вам все-таки нужен будет гиперлокальный прогноз осадков на ближайшее время, вы всегда можете воспользоваться нашим сервисом. Мы очень много работали именно над точностью.
sergsh
15.12.2016 13:03Гиперлокальный прогноз требует проверки его связи с реальностью, в данном случае необходимо гиперчасто измерять осадки по густой сетке. Планируете такие работы?
В таких измерениях мы бы с огромным интересом поучаствовали на любых условиях!imalion
16.12.2016 11:07Да, у нас есть мысли про то, как отвалидировать выпадение осадков на уровне земли на очень частой сетке. Сейчас мы просто стараемся как можно более точно предсказать следующую последовательность радарных снимков.
А вы — это кто?sergsh
16.12.2016 13:46ЮНЦ РАН, Ростов на Дону.
Кстати самые мощные дождевые ячейки на территории России это как раз у нас тут рядом.
По вашей работе есть уже публикации?
Есть ли сайт у Метеум?
Можно ли к вам попасть пообщаться если будем в Москве?
Tantrido
15.12.2016 12:35Сейчас это может показаться невероятным, но скоро наступит лето
Вот эту фразу я не понял: к чему она? Скоро — это когда? В июне или в январе? :)
Kylesa
15.12.2016 12:39С долгосрочными прогнозами такое не прокатит
erwins22
15.12.2016 13:45вообще долгосрочные прогнозы это гадание на кофейной гуще.
Например в СССР из за обмеления Каспия собирались поворачивать северные реки, но потом чуток климат изменился и в Каспии уровень воды стал повышаться.
Тоже самое прогнозирование глобального потепления при крупном извержении вулкана может быстро сменится ледниковым периодом с последующим глобальным потеплением.
propell-ant
15.12.2016 12:59+3Интересная и полезная новость, спасибо!
Скажите, при таком высоком разрешении по времени, не кажется ли вам, что сервис должен видоизмениться в «погода на маршруте». Человеку гораздо проще ориентироваться в прогнозе, если ему программа напишет:
- по пути на работу начнется сильный снегопад, лучше ехать на метро, а не на трамвае
- или по пути на работу сильный ливень на подходе к офису, оденьте резиновые сапоги
imalion
15.12.2016 14:13+1Насчет видоизмениться — это вряд ли, на нашем сервисе много других пользовательских сценариев. Но про такую фичу, разумеется, думаем.
Zibx
15.12.2016 20:25Скорее всего снегопад повлечёт столкновение пяти машин по пути на работу и будут серьёзные пробки.
Jetmanman
15.12.2016 13:45Объясните почему все прогнозы погоды текущей температуры занижают температуру на 3-4 градуса стабильно? То есть если на термометре -12, то показывает -16 и при чем это не только мое мнение. Это что погрешность модели из-за нейчета глобального изменения климата?
imalion
15.12.2016 14:00+4Нам, безусловно, есть над чем работать. Однако, описанная вам ситуация скорее всего совсем не связана с глобальными изменениями климата. Дело скорее всего в том, что градусник, который висит у вас за окном, греется в теплом воздухе, нагретом зданием. Разница между показаниями градусника и настоящей температурой воздуха как правило и составляет те самые 3-4 градуса.
Jetmanman
15.12.2016 15:57Я не имел ввиду ваши прогнозы, я пользуюсь другими прогнозами, но по разным сайтам и разным приложениям стабильно занижены температуры по сравнению с термометром, причем так было не всегда, а с каких-то пор, хотя термометр у меня давно один и тот же и опять же не только я так считаю. Вы сами можете сравнить показания прогнозов с собственными термометрами. Кстати осадки тоже все сайты и прогнозы стали врать с каких то пор, може в этом году так стало точно не помню. А раньше всегда достаточно точно получал прогноз температуры и осадков на день и по часам с сайта http://www.pogodaonline.ru
msts2017
16.12.2016 17:05есть разница в температуре в городе и за городом, разница зависит от размера города, базовой температуры и т.п. как раз зимой 3..6 градусов, подозреваю раньше это учитывали или стали учитывать по другому или для других.
hp6812er
15.12.2016 13:45Попал в те самые 40% не покрытые радарами (
Из статьи сделал вывод — без радаров нейросеть работает неважно)
xmax
15.12.2016 13:45+1Круто, что в моем дефолт-сити Петрозаводск воткнули метеорологический радиолокатор. Печально, что установка его была после авиакатастрофы =/
Ну да ладно, не об этом.
По приложению и погоде:
- Почему был выбран промежуток именно 2 часа? Обусловлено какой-то точностью?
- Крутое предложение выше — погода по маршруту. Особенно актуально в больших городах или длинных поездках на том же вело. Можно тогда и маршруты составлять так, чтобы не попасть под осадки
- Почему-то в виджете в центре уведомлений мне пишет, что в 14:00 осадки, а в приложении — осадков не будет в ближайшие 2 часа.(UPD: спустя 10-15 минут пользования приложением данные о снеге стали отображаться);
- На карте осадков было бы удобно сделать какой-то механизм возврата на текущее время, например полистал вправо-влево, хочу быстро вернуться на текущее время. Например двойной тап по панеле со временем — перенос на «Сейчас»;
- Нравится приложенеи Wunderground. У них очень удобно сделан таймлайн погоды, отображается дата, время, осадки, ветер, температура. На я.п кроме осадков и температуры информации нет. И то температура разбита какими-то огромными промежутками. Непонятно, то ли данных нет, то ли отображается температура из прогноза утро/день/вечер/ночь.
Я.П более легкое приложение, приятно выглядит. Допилить бы функционал только и WU можно удалять.imalion
15.12.2016 14:16Спасибо за комментарии про юзабилити. Отвечу про 2 часа — да, пока именно внутри этого интервала точность прогнозов достаточа для продукта. Работаем в том числе над тем, чтобы это время увеличить.
RomanL
15.12.2016 15:25+3Открыл сайт, посмотрел на сообщение «В ближайшие два часа осадков не ожидается», посмотрел на то как валит снежище за окном, закрыл сайт.
roversochi
27.03.2017 07:36+3Дело в том, что до пеноплекса в качестве бампера была немного другая и более хитрая конструкция с подвесками и прочей ерундой. Бампер был узкий и тоже из фанеры. Если смотреть на пылесос сверху, то не понять, где у него перед:) это потом появились «временные» отверстия для вольтметра и усечение задней части крышки. А «глазки» детям понравились, вот и решил пока оставить. Может потом к ним что-нибудь дорисую на радость детворе.
imalion
15.12.2016 16:07+1О, интересно. А где вы находитесь?
crazyboy91
16.12.2016 11:15То же самое сейчас происходит на северо-востоке Москвы. Валит снег, но нет, ваша нейросеть уверяет что в ближайшие 2 часа осадков не будет, хотя на карте с запада на Москву надвигается огромная туча.
Psychosynthesis
18.12.2016 15:50Вы знаете, удивительно что таких комментариев так мало.
У меня ровно такие же ассоциации. Смотрю погоду на телефоне только чтобы узнать температуру вот прям сейчас, а вот прогнозы все практически бесполезны. Территориально Северо-Запад Мск и ближайшая область.
AgaFonOff
15.12.2016 16:22+1Аналогично: Саратов, 10 утра — за окном снег просто валит, домов не видно, а на сайте (у нас, правда, город в «серой» зоне) — абсолютная ясность чуть не сутки вокруг текущего времени. Геолокация нормально вроде сработала.
Ради справедливости отмечу, что снег через пару часов прекратился и иногда всё же было видно солнце.
nekipelov
15.12.2016 15:33В тексте много раз упоминается забота о пользователях. Но где же открытое API для этих пользователей? Мне оно нужно для своего устройства на arduino, которое отображает полезную информацию, в том числе погоду.
dom1n1k
15.12.2016 18:38Если не ошибаюсь, это третий пост о Метеуме?
Он чем-то похож на AlphaGo — там тоже читаешь-читаешь описания и все они звучат примерно одинаково: «вот есть такая большая и сложная шайтан-машина, работает она как-то примерно так, но подробностей не понимает никто, быть может даже включая авторов».
LynXzp
15.12.2016 23:09+1Ага, год назад Яндекс научился прогнозировать погоду с точностью до дома, а теперь вот с точностью до часа. Жду через год статью как Яндекс научится прогнозировать погоду с точностью до градуса. А все что мне нужно вероятность и объем осадков на сегодня или N дней вперед, половина прогнозов вообще их не показывает (зачем такой прогноз погоды?), а остальные предсказывают чуть лучше чем интуиция.
binarydao
16.12.2016 09:43Ну это же принцип метеонеопределённости Гейзенберга! Ты либо знаешь место, либо время, либо температуру. Яндекс вот умудрился знать место и время, а температуру где-нибудь ещё посмотрите!
imalion
16.12.2016 11:03Сравнение с AlphaGo ко многому обязывает, придется соответствовать :) Что до понятности описаний, то тут ту хум хау. Кому-то и анонса достаточно, чтобы найти и прочитать статьи в нужном направлении, а кому-то и открытх исходников не хватит.
dom1n1k
16.12.2016 16:41Анонс это анонс — он краткий. А метеумные статьи по объему вполне тянут на нормальные обзоры, но состоят почти целиком из buzzwords.
imalion
16.12.2016 17:29Я не до конца разобрался к чему у вас вопросы — к объему статей или к лексикону, но в любом случае обсуждать это не готов.
mikelavr
16.12.2016 10:50Планируется ли вами использовать данные по атмосферному давлению с телефонов пользователей приложений вида Яндекс-Погода, Яндекс-Карты?
imalion
16.12.2016 11:14Мы уже начали работать с этими данными. Там достаточно много шума, но есть и сигнал.
mikelavr
16.12.2016 16:26В моей практике большие ошибки наблюдаются при поездках в машине и метро (вероятно из за принудительной вентиляции) — плюс/минус 5мм.рт.ст.
Достаточно заметный шум есть при перемещении между этажами (1мм.рт.ст. на 10.5 метров высоты).
В целом же датчик давления на Samsung Galaxy Note 2 ведет себя очень прилично.
skssxf
16.12.2016 10:50Ну наконец-то.
Были времена, когда снимки метеорадаров можно было почти в реальном времени в интернете посмотреть. Летом в таком большом городе как Москва это было очень удобно: перед выходом с работы (грозы чаще по вечерам) проверяешь по снимкам, не надвигается ли дождь, и принимаешь решение переждать или ехать. А потом актуальные снимки закрыли.
Так что я очень рад, что в каком-то виде снимки вернутся и более того, будут учтены в прогнозах.
fantast8
16.12.2016 16:21+9Яндекс, давайте Вы не будете обманывать людей. Год назад я уже писал про ваш «Яндекс.Метеум», где доказал, что статистически Ваш прогноз ничем не отличается от прогнозов Фореки, которую вы раньше использовали. Это чистый пиар ход. Сейчас вы снова наступаете на те же грабли. Вот последний ваш эпичный провал с 19 по 28 ноября. В красных квадратах все значения, которые не оправдались, в скобочках фактические значения. Общий уровень точности 22%. Извините, но когда на 3-е сутки допускают ошибку в 13 градусов, это уровень до компьютерной эпохи, когда прогнозы составляли классическим синоптическим методом. А если честно, то это уровень дна.
По самой статье. Где фактура? Где оправдываемость ваших прогнозов? Неужели сложно опубликовать эти данные? Или публиковать нечего? Зачем вы пытаетесь изобрести велосипед??? Данные локаторов уже давно используются во всех мезомасштабных моделях семейства WRF, особенно в США.
Другой вопрос. Прогноз осадков с точностью до минуты. ЧТО? Яндекс, быть может вы и можете в нейронные сети, но не можете в метеорологию. Прочтите хотя бы курс синоптической метеорологии, а потом заявляйте, что можете делать прогноз осадков с точностью до минуты. Сначала вы пудрили людям мозги своими прогнозами с точностью до дома, потом изменили «с точностью до района». Сейчас вы уже лезете в «прогноз с точностью до минуты». Когда ожидать прогноза с точностью до секунды?
Статья не имеет никакого отношения к науке и метеорологии, а в очередной раз пытается пропиарить свой «суперкрутой» сервис.imalion
16.12.2016 17:56-4А давайте-ка я не буду с вами дискутировать, кажется это вполне бессмысленно.
В вашем посте про Метеум, как и в этом комментарии, достаточно много громких заявлений, а с той самой фактурой как-то не очень. Например, на нашем сайте вы смотрите погоду в центре города, но не говорите о том, где находится метеостанция, с которой взялись фактические значения. Да и даже независимо от этого, попытка вычислить «общий уровень точности» по одному прогнозу представляется мне достаточно рискованным статистическим упражнением.
График точности прогнозов в статье у меня, кстати, есть, но оставить только его было бы наверное неправильно, людям ведь и про радары интересно и про то, какой у нас продукт получился… Странно, в общем, что вы выбрали такой стиль общения, вероятно это как-то связано с целью самого комментария.fantast8
16.12.2016 19:39+8У нас город 25 км в диаметре, это не Москва где высоко воздействие антропогенного фактора. Я уже неоднократно писал, что на 1 градус температура может изменяться на сотни километров, а Вы мне про центр города рассказываете. Наша курганская метеостанция находится на расстоянии 10 километров от центра, это никак существенно не влияет на распределение температуры. Вот я даже сейчас смотрю и вижу у Вас погрешность в 4 градуса, а в соответствии с методикой оценки оправдываемости Гидрометцентра, это считается уже пролётом. Допуск 3 градуса. У вас 4. Прогноз не оправдался при заблаговременности на 2 часа. О каких осадках может идти речь, когда Вы даже приземку не можете спрогнозировать.
У нас сейчас идёт выхолаживание воздуха. Ваш Метеум не умеет рассчитывать это выхолаживание.
Вы заявляете, что попытка вычислить «общий уровень точности» по одному прогнозу это не совсем корректно, да, это так. Нужна большая выборка. Но все остальные модели смогли просчитать этот прогноз, а Вы — нет! Вот что самое главное. Сырые данные моделей (GFS, ECMWF, NAEFS и прочие) оказались точнее, чем распиаренный Яндекс.Метеум.
Яндекс, просто покажи свой уровень точности. На одни сутки, на вторые, третьи, четвёртые и так вплоть до десятых. А уже потом заявляйте, что Вы лучше всех остальных. Мне, например, известно, что точность Gismeteo для Кургана на одни сутки по температуре составляет 92%, далее точность падает на 3% каждые сутки. Выборка за 60 дней и более. А где Ваша статистика, Яндекс? Сделайте, хотя бы по Москве. Оцените уровень других ресурсов, а уже затем делайте выводы. Цифры, факты, эмпирика.scifix
17.12.2016 18:33Есть доля истины в вашем комментарии) Мне волей-неволей приходиться знать точный прогноз, обычно на сутки-двое вперед, дорога у меня практически никакая возле дома и вопрос часто в том, смогу я проехать по ней или нет. Уже несколько лет в поисках самых точных прогнозов по осадкам, но и температура частенько требуется. Постоянно отслеживаю сервисы Яндекса, Gismeteo ,Weather и разные мелкие сайты. И как-то Яндекс не радует точностью — то попадает то нет, уж не говоря об отсутствии такой полезной штуки как почасовой прогноз)
Мой выбор Gismeteo и Weather, второй мне нравится даже больше — почасовка там есть с вероятностью осадков и она реально работает, хотя изредка бывают сильные просчеты.fantast8
17.12.2016 21:41+4Рекомендую Вам Foreca и intelicast. Работают на модели европейского центра среднесрочных прогнозов (ECMWF), которая считается лучшей в мире. Точность была проверена статистикой, на одни сутки в районе 95% по температуре. Кроме того, в конце ноября модель обновилась.
xmax
20.12.2016 11:03кстати да, как писал выше — wunderground(он же intelicast) данные выводит более точные и при этом на более большой срок. Сейчас попробую их Storm. Сравню по удобству приложения. WU неудобен тем, что со временем кэш в 400+мб уходит и нет кнопки очистить.
Foreca ранее не слышал, посмотрел, погода да, точная, как у WU, но приложение настолько деревянное.
anivaros
16.12.2016 17:57Вчера вечером (с 19 до 21 часов) в Петербурге Я.Погода на сайте и в приложении на айфоне утверждала, что осадков не предвидится, в то время, как я пол часа ехал сквозь мелко моросящий снего-дождь.
Это так и задумано, или «ваша программа не работает»?imalion
16.12.2016 17:58Нет, ничего такого мы не задумывали. Радар и правда может не видеть мелкие осадки любой фракции, и иногда с этим нельзя ничего поделать.
SaturnX
22.12.2016 11:59Те радары, которые работают на длине волны 5.5 см (Метеор-500С и ДМРЛ-С) не увидят. А старые МРЛ-5 (Калуга, Тверь, Екатеринбург), работающее длине волны на 3.2 см скоррее всего эти метеообразования увидят.
Вот еще метеорадар в СПБ http://www.kontur-niirs.ru/meteo/. Работает на 3.2 см.
buratino
20.12.2016 13:30Во-первых, метеостанции расположены далеко друг от друга и измеряют параметры в строго определённые промежутки времени.
У народа куча «домашних» метеостанций, но эти данные «нахрен никому не нужны». Есть и недомашние.
У меня (http://shatura.laser.ru/Thermometer/index.html ) семь лет непрерывно меряет температуру, последние пару лет — и давление, можно мерять влажность, но лениво.
Во Фрязино примерно столько же работает онлайн термометр с барометром
Xardas2000
21.12.2016 10:23+2Я конечно извиняюсь, но Вы вообще проводите соответствие своих прогнозов с реальной ситуацией? Полигон прогноза осадков на ближайшее время кардинально меняется каждые 5 минут. Но это ещё не самое худшее. Меняется прогноз на пройденное время. Т.е. к примеру полигон, который был в 10:00 так же изменится, если мы смотрим на него в 10:30, в 11:00 (т.е. в прошедшем времени)
aixman
21.12.2016 12:34Замечательно, что детализация метеума растет. Это смогут использовать и транспортные компании при учете логистики и расходов на транспорт — отправляя в рейсы в хорошую погоду.
Делюсь интересным наблюдением: Для некоторых ниш, по аналитике сайта, постоянно замечаю рост конверсии в заказ и посещаемости именно в непогоду.
Вопрос: Планируется ли повышение ставок в рекламе на Директе относительно изменения погоды? Вопрос совершенно серьезный, т.к. зависимость прямая.
Скорее всего так происходит потому, что в непогоду пользователи склонны откладывать передвижение и возвращаются к ПК и смартфонам, чтобы заказать доставку чего-либо и не ехать.
tan_1
21.12.2016 12:34Ух-ты, даже в Оренбурге радиолокатор есть! А где он, интересно, находится, интересно было бы на него посмотерть
Vnuchok
21.12.2016 12:34Самара, пос. Мехзавод (это район города), квартал 7 отсутствует напрочь, хотя есть 5, 6, 15 квартала и даже с точностью до дома. А седьмого нет совсем(( и это не самый маленький квартал. Например, 6-й гораздо меньше.
Smasher
22.12.2016 01:21Вы жалуетесь на отсутствие данных, а почему не начать собирать данные краудсорсингом с это делает тот же Weather Underground с сетью персональных погодных станций? Все это дело возможно популязировать и построить большую сеть по России и/или СНГ.
SaturnX
22.12.2016 11:47+3«Мы получили (купили) от РосГидромета метеорадары, научились наносить эти данные на Яндекс.Карты и у нас получилась фигня, которую метеорологи называют наукастинг».
Собственно, вот весь смысл статьи.
anivaros, Yemsalat не благодарите http://weather.rshu.ru/radar/.
Leo5700
23.12.2016 11:18Класс! Радар. Не знаете, где достать такой же для Москвы и области? Раньше был на сайте Gismeteo — сейчас нет.
tan_1
22.12.2016 17:01В Оренбурге резко континентальный климат. Когда можно будет узнавать температуру и осадки районов?
Leo5700
23.12.2016 11:14Пару раз проверил — за окном ни снежинки — на радаре снег. Похоже, нужно вводить корректировки от наблюдателей на местах…
FractalizeR
Я правильно понял, что у автора этой потрясающей технологии до сих пор нет инвайта на Хабр? ;) Хотел ему плюсануть в карму и тут такой облом. Не пора ли что-нибудь предпринять по этому вопросу?
imalion
Если бы у меня не было инвайта на Хабр, я не смог бы опубликовать этот пост :) А то, что инвайта нет у прекрасного nes8bit, мы обязательно поправим.
FractalizeR
Да, именно его я и имел ввиду ;) Спасибо!
Suvitruf
Fixed.
nes8bit
Благодарю :) Я всего лишь раскладываю данные для быстрого доступа, за интересные технологии огромное спасибо imalion
sincos364
А кто может иметь доступ к этим данным? Просто мне интересна эта тема, некоторое время назад, я собрал небольшой комплекс для принятия данных с метеоспутников (небольшая антена, RTL-SDR, raspberry pi 2, программа для построения и обработки данных со спутника), но предсказать движение воздушных масс, достоверно не получается, возможно мало данных, ну или алгоритм не очень хороший (((((, хотелось бы попробовать дать ему больше данных и посмотреть на его поведение.
Clasen01
Но ведь для регистрации на Хабре не нужен инвайт или вы не про то?
FractalizeR
Без инвайта не получится быть полноценным пользователем: https://habrahabr.ru/info/help/registration/
LoadRunner
Полноценным пользователь станет только после написания хотя бы одной статьи. До тех пор карму выше 4 не получить, а с ними и возможности голосования за карму и комментарии.
FractalizeR
Статью нельзя написать, не получив инвайт. Разве что в песочницу.
LoadRunner
По-моему, мы говорим об одном и том же. Ведь статья — это один из способов получения инвайта. Но без статей пользователь тоже не будет полноценным.