Нейросетевые методы наукастинга осадков: обзор и апробация существующих решений. Доля точно предсказанных случаев начала дождя — это отношение количества правильно предсказанных случаев начала первого дождя на рассматриваемом окне в два часа ко всем случаям начала первого дождя на двухчасовых окнах. Точнее, ещё точнее: прогноз погоды на 2 часа, наукастинг и карты погоды. Сопоставление прогностических и истинных значений продолжительности осадков Заключение Предложено уравнение множественной регрессии для текущего прогноза продолжительности осадков на срок до двух часов. В итоге получается своеобразный ультракраткосрочный прогноз или наукастинг — на ближайшие два часа с шагом в десять минут.
Ещё одна копия хабора
- Наукастинг осадков на 2 часа
- Содержание
- 10 самых точных сервисов прогноза погоды
- GISMETEO: Радар Гисметео — реальный инструмент наукастинга града и фотоизображения
- Погода сейчас
- Россия Метеорологический радар | AccuWeather
Дополнительные ссылки
- Погода сейчас
- 12 самых точных сайтов прогноза погоды
- Глава Гидрометцентра: Никогда прогноз погоды не будет точным на 100%
- Как узнать, будет ли дождь, гроза? Смотрим карту осадков!
- Поиск в поисковиках:
- Как узнать, будет ли дождь, гроза? Смотрим карту осадков!
рПЗПДБ Ч НЙТЕ
Прогноз осадков на 2 часа (наукастинг). За сутки выпадет около 20,7 мл осадков. Наукастинг — это сверхкраткосрочный прогноз, на 2–5 часов вперёд. Грозовые дожди в Новгородской области. Совместная технология детерминистского наукастинга и сверхкраткосрочного прогноза осадков на основе экстраполяции данных. Радарный наукастинг осадков Анимированная карта явлений погоды за последние 3 часа по данным радарных наблюдений (подготовлено Центральной аэрологической обсерваторией).
GISMETEO: Радар Гисметео — реальный инструмент наукастинга града и фотоизображения
- ТЕХНО — Современный оракул
- Риски в виде осадков. Большое интервью с доктором географических наук Андреем Шиховым
- GISMETEO: осадки в Европе, прогноз осадков на карте Европы
- Как мы делали краткосрочный прогноз осадков. Лекция в Яндексе
Наукастинг осадков на 2 часа
По прогнозу ведущего научного сотрудника центра погоды «Фобос» Михаила Леуса, в российской столице в четверг, 17 августа, ожидается переменная облачность, без осадков, воздух прогреется до + 29 °C, передаёт РИА Новости. это процесс прогнозирования количества осадков, которые ожидаются в течение двух часов. Опасные явления — шквалистый ветер, сильные ливневые осадки, град — живут недолго, поэтому о них часто предупреждают лишь за несколько часов до возникновения. Есть такое понятие как наукастинг – текущий прогноз погоды на срок до трех часов. За сегодняшний день в Москве выпадет около 30% месячной нормы осадков. Наукастинг. Прогноз текущей погоды – детализированный прогноз погоды на ближайшие часы (до 2-6 часов).Продолжительность жизненного цикла некоторых погодных явлений (например, шквалов, ливней и т.д.) варьирует от минут до десятков минут.
Яндекс научился предсказывать осадки на ближайшие 2 часа
В России радиолокаторы установлены в наиболее населенных и интересных с метеорологической точки зрения регионах. Рэй Курцвейл: «В ближайшие 10 лет мы начнем печатать себе одежду дома» Мнения Ранее «Хайтек» писал о портативно детекторе погоды — разработке компании BloomSky. Детектор умеет измерять температуру, влажность, атмосферное давление и количество осадков и показывать актуальные изображения окружающих погодных условий каждые пять минут, а затем собрать их в time-lapse. Читайте также.
Называть каждый циклон вне зависимости от его интенсивности явлений — это просто забава. Сколько выпадет снега после циклона «Ольга»? Циклон, который обозначили «Ольгой», практически ничем не отличается от любого другого рядового циклона.
Он не выходит за рамки категории очень глубоких и сильных атмосферных вихрей. Его давление в центре, скорость и траектория перемещения достаточно заурядны. Поэтому никаких сильнейших снегопадов он не вызовет. СМИ сетевое издание «Городской информационный канал m24.
Средство массовой информации сетевое издание «Городской информационный канал m24. Учредитель и редакция - АО «Москва Медиа». Главный редактор И. Сезон дождей длится с мая по декабрь, а осадки выпадают даже и в наиболее сухие месяцы года.
Сингапур Singapore Находясь всего в 1,5 градусах к северу от экватора, Сингапур не отличается особыми сезонными температурными колебаниями. Что его характеризует, так это два муссонных сезона, разделённых между собой короткими периодами. Грозы в Сингапуре — обычное дело: каждый год здесь выпадает более 2300 мм осадков. Подгорица Podgorica , Черногория Столица и крупнейший город Черногории, Подгорица известна своим жутко жарким летом.
Однако зимой этот средиземноморский город отличается выпадением довольно большого количества осадков. Имея уровень осадков более 1650 мм только в сезон дождей, этот город вряд ли станет одним из тех, на улицах которого вы захотите быть застигнутыми дождём, особенно в ноябре или декабре. Ванкувер Vancouver , Британская Колумбия, Канада Благодаря Скалистым горам, Ванкувер хорошо защищён от суровых, снежных зим, характерных для остальной части Канады, но горы не в силах остановить дождь. В третьем самом дождливом канадском городе — примерно 160 дождливых дней каждый год.
Несмотря на это, лето здесь на удивление сухое и тёплое. Мобил Mobile , штат Алабама, США Третий в списке самых густонаселённых городов штата, Мобил характеризуется уровнем количества осадков, равным 1500 мм в год, что делает его самым дождливым городом в 48 штатах, кроме Аляски. Керкуолл Kirkwall , Шотландия, Великобритания Керкуолл расположен у северного побережья Шотландии на Оркнейских островах Oarkney Islands , являясь столицей и самым густонаселённым городом. Как и остальную часть Шотландии, Керкуолл отличает прохладное лето, мягкая зима и много дождя, что является результатом его морского климата.
Тулли Tully , Квинсленд, Австралия Расположенный в районе Побережья Казуара Cassowary Coast в Квинсленде, город Тулли отличается тропическим климатом, который обуславливает циклоны и муссоны на протяжении трёх месяцев в году — с января по март. В 2003 году в городе воздвигли 8-метровую статую золотистого резинового сапога в качестве памятника городу с влажным климатом и рекордным годовым количеством осадков. В Москве выпало рекордное за 145 лет количество осадков 14:03, 04. Дерево Фото: sogard с сайта Pixabay За 12 часов в столице выпало 10,7 мм осадков, что стало рекордом.
По предварительным данным, больше всего снега выпало в центре Москвы В Москве 3 декабря выпало рекордное количество осадков за сутки. Высота сугробов превысила норму 34 см в два раза — 69 сантиметров.
Это 12 кадров плюс ещё несколько про запас на случай перебоя в поставке данных с радара. Чаще всего решение такой задачи сводится либо к применению алгоритмов optical flow 1 , 2 , 3 , либо к нейросетевым методам 1 , 2 , 3 , 4 , 5 , 6. Долгое время в продакшене у нас работал алгоритм на основе optical flow, который мы смогли натюнить таким образом, что он побил по метрикам нашу предыдущую нейросетевую архитектуру.
Далее расскажем о том, как мы наконец обошли optical flow и сделали более качественный прогноз с использованием нейросетей. Авторы добавили вход для пространственной памяти обозначение в статье и расширили output gate, чтобы научиться её учитывать рисунок 3. Утверждается, что это помогает лучше запоминать пространственные изменения в последовательности кадров видеоряда. Рисунок 3. Только для изображений из будущего, которые мы пока не знаем.
В качестве функции потерь использовали ставшую классической сумму кросс-энтропии и dice: где — пример из обучающей выборки, а — предсказанное значение.
Стоит ли ожидать каких-то катаклизмов летом? Андрей Киселев: Каждое отдельное событие слабо предсказуемо, но если говорить о статистике Росгидромета , то за последние годы число таких аномалий выросло по крайней мере в два раза. Поэтому сама тенденция говорит о том, что это будет продолжаться. Другое дело, что наша страна очень большая, с разными климатическими условиями, поэтому где-то это может быть сильный ливень, а где-то — засуха или ураган.
Это периоды, когда на определенной территории температура воздуха становится по крайней мере на пять градусов выше климатической нормы и держится на таком уровне не менее пяти дней. Даже ночью температура остается очень высокой, хотя и ниже дневной. То есть летом можно ждать в России аномальной жары? Волны тепла — так они официально называются — фиксируются специалистами ежегодно. Но одно дело, когда волна тепла длится в течение пяти-семи дней, и иное — когда, как в 2010 году, она охватила почти всю европейскую часть России практически на два месяца.
Это сильно сказывается на пожилых людях и людях с ослабленным здоровьем. Как следствие, тогда официально была зарегистрирована повышенная смертность. Но волны тепла такой силы, как в 2010 году, все же фиксируются несколько раз за век. Нельзя точно сказать, стоит ли ожидать такого явления в этом сезоне, так как прогнозировать каждое отдельное событие практически невозможно. Все это зависит от особенностей региона, это целый комплекс факторов, включая рельеф, метеорологические параметры и другие характеристики.
Каждое такое событие — результат сочетания множества местных факторов, а вот частота появления таких событий обусловлена антропогенным потеплением. По данным Гидрометцентра, частота климатических аномалий, которые нанесли ущерб здоровью людей и экономике, по сравнению с концом прошлого века в России увеличилась по крайней мере вдвое О каких цифрах идет речь? По этой статистике, с 2001 по 2020 год в среднем на территории России ежегодно происходило 371 опасное гидрометеорологическое явление. Причем я еще раз подчеркиваю: речь идет исключительно о тех случаях, которые нанесли серьезный ущерб либо экономике, либо людям. Или и тому, и другому.
Если мы говорим о безобидных случаях, то их обычно в два-три раза больше. Но все же стоит напомнить, что наша страна — большая по площади, поэтому удивляться тому, что из года в год происходят эти события, конечно, не приходится. А есть ли регионы, где наиболее часто происходят подобные события, или же, наоборот, где практически ничего не происходит? Ученые ведут индекс климатических рисков всех регионов. Он очень сложный, учитывает не только частоту подобных климатических явлений, но и их силу, а также ситуацию в регионе: численность населения, инфраструктуру и другие факторы.
Если говорить об этом индексе, который может меняться от нуля до единицы, то чем меньше его значение, тем лучше для территории. Например, Северо-Западная Россия находится в числе благополучных регионов, где этот индекс попадает в нижнюю треть риска — от нуля до 0,33. Центральный регион, наоборот, относится к самым «рискованным» — от 0,67 до 1. Здесь речь не идет исключительно о числе негативных событий. Этот индекс включает в себя комплексную информацию, в нее входят и число катаклизмов за год, и их сила, и особенности региона.
рПЗПДБ Ч НЙТЕ
С приближением циклона с запада в пятницу пройдет небольшой снег, в субботу умеренный снег. Морозы немного ослабеют, в дальнейшем Центральный федеральный округ. Сибирский федеральный округ.
Если красные свертки — единственная часть, которую мы обучаем, почему бы нам не вычислить векторное поле самостоятельно, алгоритмически?
Так что четвертое решение, которое заметно улучшило результат, использовало явную минимизацию loss-функции. Мы искали векторное поле, которое бы одинаково хорошо приближало переход на 10 минут в последний час. От —60 минут до —50, потом до —40 и т.
Мы применяли это векторное поле к t0, чтобы получить прогноз на 10 минут дальше. Алгоритмически гораздо лучше находить векторное поле с помощью минимизации. Оно быстрее работает, не требует обучения.
Самое интересное — оно не требует всех данных. Можно пропустить какие-то данные — а радары довольно часто запаздывают. Мы долго думали, что же оставить — нейронные сети или алгоритмические вычисления векторного поля.
Но всё победил тот самый лазерный меч в Иваново. Когда он висит над вами как дамоклов меч и зануляет вокруг себя все вектора, то облака не могут ни пересечь его, ни двигаться в одном районе с ним. Даже какого-то физического движения на картинке не происходит.
Поэтому в конечном итоге мы пришли к нейронной сети. Сейчас нейронная сеть работает и выдает предсказания, схематически ее архитектура изображена здесь. Она составлена из 12 примерно одинаковых блоков.
Каждый блок последовательно строит прогноз по своему горизонту, получая на вход некоторый тензор состояния и последний радарный снимок, последнее предсказание с предыдущего горизонта. Тензор состояния имеет довольно маленькую размерность, всего 32 x 32 на 30 каналов, но сверткой к инволюции мы получаем из него векторное поле, опорные вектора для преобразования thin plate spline. И, наоборот, сверткой к деконволюции мы получаем места, где выпадают осадки.
Такая архитектура нейросети учитывает, что в каких-то местах осадки выпадают традиционно. Например, туча, налетевшая на город, прольется с большей вероятностью, чем над лесом, потому что над городом другая атмосфера, микроклимат. Там, например, попросту теплее.
От горизонта к горизонту, от блока к блоку мы передаем состояние, о котором идет речь, и попутно немного меняем его с помощью residual network. Residual — это когда мы сам тензор меняем совсем немного, прибавляя к нему измерения. Обученная часть — дельта от обучаемой части, изменение тензора.
Мы берем запомненное состояние, с помощью деконволюции делаем из него какую-то карту выпадения осадков, складываем их с облаками и двигаем их. Такова нынешняя архитектура сети. Она работает, предсказывает, и результаты получаются довольно хорошими — вы их можете увидеть на сайте.
Но они довольно хорошие с точки зрения метрик data science, ROC AUC и F1-меры, а бизнесу интересны не абстрактные циферки и кривые, которые мы рисуем. Бизнесу интересна точность этих предсказаний, точность текста о том, что дождь закончится через 10 минут 20 секунд. Перед нами сейчас стоит другая задача.
Сейчас нейросеть обучается с какой-то функцией потерь. Она максимизирует вероятность правильной классификации с помощью бинарной энтропии. А на самом деле надо улучшать другие, бизнесовые метрики — не правильность классификации, а правильность определения времени начала и прекращения осадков.
Кстати, обычно смотрят на ласточек... На сим пока всё, на этом откланиваюсь... Кстати, не забудьте взять зонтик!..
Принципиально его можно взять всего из двух мест: либо проанализировав предыдущие радарные снимки и применив, скажем, алгоритмы оптического потока, либо из каких-то других источников. Например, можно воспользоваться метеомоделированием и результатом работы того же ОРФ или Метеума. Берем поле ветров и с его помощью переносим картинки, которые возвращает радар. Оба способа получения векторных полей имеют недостатки. Оптический поток нельзя посчитать в местах, где не летит облако. Там не от чего отражаться радарному лучу, и нет никаких данных о скорости воздуха и направлении движения. Метеомоделирование может не совпадать с реальностью.
Поэтому если бы мы использовали только данные метеомодели, могло бы так получиться, что в исторических данных радара облако летит в одну сторону, а потом в прогнозе ветров резко разворачивается и летит в другую сторону. Третий компонент наукастинга — алгоритм применения векторного поля. Здесь наука умеет довольно многое. Мы взяли за основу thin plate spline transform — преобразование картинки, которое представляет ее в виде тонкой резиновой пластины и растягивает некоторые места. Мы параметризуем это преобразование всего несколькими опорными векторами, а все остальные вектора движения внутри картинки восстанавливаем сплайновой интерполяцией. Такая технология используется, например, в восстановлении движения по последнему кадру из видео. Известная научная работа. Вооружившись полученными знаниями, мы начали пытаться строить прогноз. Первое решение, которое пришло в голову, — просто обучить несколько нейросетей так, чтобы первая нейросеть предсказывала ситуацию на радаре через 10 минут, вторая — через 20 минут, третья — через 30. Требование было следующим: предсказывать радарные данные где-то на два часа вперед.
Предсказания получались вот такие. Примерно тогда же, когда мы обучили 12 нейросетей, у нас появилась возможность визуализировать данные на карте. Посмотрев на скачущие облака, менеджеры сказали: это мы выпускать точно не будем. Один из них сказал: конечно, я понимаю, что это максимизирует вероятность чего-то там, но пользователю такое не объяснить — в жизни облака так не скачут. Во время следующей итерации мы решили считать только векторное поле и умножать опорные вектора на 2 и 3, чтобы получить перенос не на 10, а на 20 минут и 30 минут соответственно. На ближних горизонтах результаты выглядели довольно прилично, но чем дальше, тем чаще с краю появлялись артефакты. Оказалось, что в векторном поле слишком большие вектора разрывают thin plate spline, и у нас появляется второе зеркальное отражение нашей картинки. Потом отражения сливаются. На ближних горизонтах артефакт не был заметен, но на дальних проявлялся очень сильно. Из ниоткуда возникало облако.
Третьим решением стало последовательное применение одного и того же преобразования thin plate spline к одной картинке. С одной стороны, оно способствовало накоплению ошибок. Это было первое реально работающее решение, которое мы показывали при внутреннем бета-тесте. Нейросеть получала на вход шесть радарных снимков за последний час, несколькими свертками приводила их к тензору из 16 векторов 4 x 4. Cплайновое преобразование восстанавливалось по векторам и последовательно применялось к картинке для получения каждого следующего горизонта прогноза. Решение довольно хорошо себя показало, но оставался единственный вопрос: зачем нужна нейросеть? Если красные свертки — единственная часть, которую мы обучаем, почему бы нам не вычислить векторное поле самостоятельно, алгоритмически?
В китайской провинции Гуандун после нескольких дней осадков реки вышли из берегов
Чаще всего решение такой задачи сводится либо к применению алгоритмов optical flow 1 , 2 , 3 , либо к нейросетевым методам 1 , 2 , 3 , 4 , 5 , 6. Долгое время в продакшене у нас работал алгоритм на основе optical flow, который мы смогли натюнить таким образом, что он побил по метрикам нашу предыдущую нейросетевую архитектуру. Далее расскажем о том, как мы наконец обошли optical flow и сделали более качественный прогноз с использованием нейросетей. Авторы добавили вход для пространственной памяти обозначение в статье и расширили output gate, чтобы научиться её учитывать рисунок 3. Утверждается, что это помогает лучше запоминать пространственные изменения в последовательности кадров видеоряда.
Рисунок 3. Только для изображений из будущего, которые мы пока не знаем. В качестве функции потерь использовали ставшую классической сумму кросс-энтропии и dice: где — пример из обучающей выборки, а — предсказанное значение. Результаты При сравнении новой модели с предыдущей мы смотрели как на стандартные метрики для задач сегментации и классификации F1, IoU , так и специально построили метрики, которые отражают пользовательское ощущение прогноза например, доля идеальных прогнозов.
Его заблаговременность составляет от нескольких минут до 6 часов. Обычно наукастинг и сверхкраткосрочный прогноз тоже активно используется в аэропортах, морских портах, космодромах, во время олимпийских игр. Внезапные порывы ветра, резкое ухудшение видимости из-за тумана или осадков могут сыграть злую шутку. Перенос запуска ракеты из-за порывов ветра обходится в огромную сумму порядка нескольких млн. Примеров можно привести множество, суть ясна. Точность кратко- и среднесрочных прогнозов выше, чем долгосрочных.
После того как вы найдете подходящий для себя сервис, рекомендуем установить его приложение на смартфон — так прогноз погоды всегда будет у вас под рукой.
Если мобильной версии нет, можно добавить ссылку на сайт в закладки браузера. Топ-10 лучших сайтов с точным прогнозом погоды Каждый человек выбирает себе сервис по своим критериям: кому-то, помимо точности прогноза, важно наличие мобильного приложения, другим — показатель температуры «ощущается как», а третьи ищут вариант, в котором отсутствует реклама. Исходя из этого, мы собрали подборку с самыми точными сайтами прогноза погоды, но не будем расставлять их в порядке «от худшего к лучшему», а дадим рекомендации, кому будет полезен тот или иной сервис. Здесь можно найти прогноз погоды на 3, 10, 14 и 30 дней. Данные обновляются каждые 4 часа.
Регион: Центральный федеральный округ. Период испытаний: июнь — сентябрь 2020 г. Рисунок 1. Содержание файлов. Предварительная обработка файлов заключает в себя следующие этапы: Преобразование данных в виде матрицы в одномерные массивы длинной в 25 элементов Имена файлов преобразуются в формат ДД. ММ Для файлов из папки output к дате прибавляется три часа Далее из папки input удаляются все файлы, имен которых нет в папке output так как некоторые прогнозы отсутствуют. Предыдущий шаг повторяется для output После этого создаются файлы в папке error, значения которых равны input — output. Значения берутся по модулю. Создание тестовой модели В качестве оптимизатора был использован Adamax Количество эпох: 200 В качестве функции потерь и валидации использовалась среднеквадратичная ошибка MSE В структуре сети применяется слой нормализации данных и Dropaut — слои [5]. Архитектура нейронной сети изображена на рисунке 2. Рисунок 2.
Как мы отказались от нейросетей, а затем вернули их в прогноз осадков Яндекс.Погоды
За полтора часа в центре Москвы выпала почти треть апрельской нормы осадков, заявила в беседе с РИА Новости ведущий сотрудник Гидрометцентра России Марина Макарова. Наукастинг — это сверхкраткосрочный прогноз, на 2–5 часов вперёд. это cверхкраткосрочный прогноз явлений погоды в пределах 0 – 6 ч от срока наблюдения. Наукастинг (прогноз на 2 ч). Главная» Новости» Гидрометцентр наукастинг.
Прогнозирование ошибок при помощи нейросетей как способ увеличения точности прогноза погоды
Решение задачи наукастинга осадков, как правило, сводится к прогнозированию следующе-го кадра видеопоследовательности, а входными данными становится серия из более чем двух последовательных изображений, что позволяет более точно моделировать нелинейные. Прогноз осадков на ближайшие 2-6 часов / скриншот с сайта Гидрометцентра России. И снова про наукастинг Когда мы говорим о прогнозе погоды, то чаще всего подразумеваем температуру и осадки, например, на завтра или ближайшие выходные. Наукастинг. Прогноз текущей погоды – детализированный прогноз погоды на ближайшие часы (до 2-6 часов).Продолжительность жизненного цикла некоторых погодных явлений (например, шквалов, ливней и т.д.) варьирует от минут до десятков минут.
☔ТОП самых точных сайтов прогноза погоды на 2024 год
Карты отображают следующие характеристики: количество осадков за период, количество осадков накопленное, температура воздуха и другие основные метеопараметры у поверхности земли и на основных изобарических поверхностях. Рекомендуемое применение Резервирование уборочной техники и работников для оперативного устранения последствий ожидаемых негативных погодных явлений ливни, снегопады, гололед, сильные порывы ветра, грозы Заблаговременная подготовка коллектива и рабочей инфраструктуры, зависимой от погоды, к эксплуатации при возникновении негативных погодных условий. Своевременное проведение профилактических работ, направленных на минимизацию рисков при негативных явлениях погоды. Планирование работ, требующих определенных погодных условий отсутствие порывов ветра, необходимое состояние рабочих поверхностей, температурные режимы, заданная влажность.
Циклон вызовет 29-30 кратковременные дожди и понизит температуру на 8-10 градусов», рассказывала главный синоптик Уральского УГМС Галина Шепоренко. Что касается детализированной сводки погоды для Челябинской области, то 27 апреля будет облачно с прояснениями, в северной половине местами пройдут небольшие дожди, днем в субботу возможны грозы. Температура воздуха предстоящей ночью плюс 4-9, при прояснении — до минус 1, днем 27 апреля — плюс 18-23. Самым жарким днем станет воскресенье.
Что такое наукастинг Ответить на вопрос, будет ли дождь, вроде бы несложно, если мы видим с вышки метеостанции целое скопление дождевых облаков, которые двигаются в определённом направлении. Но почему-то по одной стороне реки проходит ливень, в котором плавают автомобили, а в пяти километрах от тех мест под страшные раскаты грома на землю падают всего три капли. Те, кто живёт неподалёку от моря, наверное, замечал, что над морем дождь идёт чаще, чем над сушей. Секрет прост: море остужает плывущие к нему с суши облака, и капли, конденсируясь, собираются в более крупные, превращая облако в тучу. То есть вышло так, что тучи сгустились, остыли и пролились на подходе к берегу широкой реки, так и не успев «переплыть» на другой берег. Как говорится, прогноз был просчитан точно, но «что-то пошло не так». А ещё учёные давно заметили, что дожди чаще идут там, где высоко над землёй на несколько километров поднимается облако мелкой пыли, например, от резиновых частиц шин скоростных шоссе. Эти частицы попадают в облака и вызывают скопление и рост капель. Получается, что люди не только изучают погоду, но во многих случаях и создают её. Чем дальше по времени мы хотим заглянуть вперёд, тем меньше точность предсказаний. Наиболее достоверный прогноз получил название «nowcast». Наукастинг — это сверхкраткосрочный прогноз, на 2—5 часов вперёд. Как ни странно, именно он получил самый высокий спрос в мире и является высоко востребованным коммерческим продуктом. Планирование своего досуга всего на несколько ближайших часов оказалось очень актуальным запросом. Ехать ли на природу с семьёй, пойти ли кататься на лыжах в горы, уйти под парусом в море или лучше остаться дома — для миллионов людей все эти вопросы каждые выходные требуют гарантированно достоверного ответа. Когда посреди замёрзшего моря в 30 км от берега кайтеру спортсмену на горных лыжах с тяжёлым парусом внезапно «выключают ветер», он рискует вернуться домой пешком только поздней ночью. С этой целью кайтеры, любители яхтинга и других видов спорта, связанных с ветром, пользуются специальными программными приложениями, где собрана актуальная информация с радаров, спутников и ближайших метеостанций. Самые высокие требования к детализации и точности метеорологических прогнозов требуют спортивные соревнования — Олимпийские игры. И последнее, пожалуй, важнейшее преимущество наукастинга — это способность очень точно прогнозировать опасные природные явления — ураганы, тайфуны, цунами, —которые сжаты во времени и пространстве и требуют оперативного оповещения. Космическая погода Сегодня над расчётами прогнозов погоды трудятся отдельные институты, оснащённые суперкомпьютерными системами, которые превращают большие массивы спутниковых данных, информации с метеостанций и обсерваторий в упорядоченные таблицы и красивые картинки. Правда, на картинках Земли из космоса видны не только атмосферные циклоны, но и горящие леса и гигантские массивы дыма и смога над многими участками нашей планеты. Поэтому и называется теперь это учреждение не «служба погоды», а Федеральная служба гидрометеорологии и мониторинга окружающей среды Росгидромет. Росгидромет пользуется информацией и с отечественных восьми спутников мониторинга погоды, и с зарубежных.
Долгое время в продакшене у нас работал алгоритм на основе optical flow, который мы смогли натюнить таким образом, что он побил по метрикам нашу предыдущую нейросетевую архитектуру. Далее расскажем о том, как мы наконец обошли optical flow и сделали более качественный прогноз с использованием нейросетей. Авторы добавили вход для пространственной памяти обозначение в статье и расширили output gate, чтобы научиться её учитывать рисунок 3. Утверждается, что это помогает лучше запоминать пространственные изменения в последовательности кадров видеоряда. Рисунок 3. Только для изображений из будущего, которые мы пока не знаем. В качестве функции потерь использовали ставшую классической сумму кросс-энтропии и dice: где — пример из обучающей выборки, а — предсказанное значение. Результаты При сравнении новой модели с предыдущей мы смотрели как на стандартные метрики для задач сегментации и классификации F1, IoU , так и специально построили метрики, которые отражают пользовательское ощущение прогноза например, доля идеальных прогнозов. Это помогло улучшить в том числе и то, что видят в прогнозе наши пользователи, и как они получают информацию из него.