Миллионы лет назад столкновение Земли с космическим объектом диаметром около 10 км привело к вымиранию динозавров. Поэтому сегодня людям хочется как можно раньше узнавать о приближении долгопериодических комет (ДКП), представляющих значительный риск для экосферы Земли. Для этого был создан CAMS — проект, предназначенный для наблюдения за всем небом с целью обнаружения признаков комет. Недавно он получил большое обновление с участием SpaceML, в котором участвуют гражданские учёные.

Проект CAMS «Камеры для наблюдения за метеорами всего неба» был запущен в октябре 2010 года и начался с установки систем камер в обсерватории Фремонт-Пик в Калифорнии. Изображения с этих камер прошли через специально разработанный алгоритм сжатия и были пропущены через программу, предназначенную для обнаружения комет. Это позволило найти свидетельства долгопериодических комет, которые ранее могли не заметить. В дальнейшем к сети были подключены дополнительные станции мониторинга, благодаря чему увеличилось количество обнаруженных комет, которые, вероятно, являются ранее неизвестными долгопериодическими кометами.

Однако, несмотря на помощь умного ПО, процесс мониторинга требовал значительного вмешательства человека — до такой степени, что данные извлекались с сайтов вручную только раз в два месяца. Чтобы получать ежедневные обновления, чтобы ночные наблюдения могли быть доступны научному сообществу для анализа уже на следующий день, требуется нечто другое: применение машинного обучения.

Конвейер искусственного интеллекта CAMS

Текущая модель искусственного интеллекта, доступная для ресурсов CAMS, была описана в статье 2017 года, опубликованной в Proceedings of the International Meteor Conference (IMC) 2017.

Цель автоматизации процесса заключалась в полном удалении человеческого фактора из конвейера обработки данных CAMS без снижения точности обрабатываемых результатов.

Результатом стал новый шестиступенчатый конвейер. На первом этапе локальные компьютеры, установленные на площадках операторов и отвечающие за сбор данных о небе, выполняют локальную обработку. Они определяют, является ли помеченный объект кометой или нет (облака, самолёты и птицы иногда могут вызывать ложное срабатывание).

Для этого команда разработала классификатор случайного леса, предлагающий бинарную классификацию комета/не комета, сверточную нейронную сеть, которая выводит оценку вероятности для серии кадров, и сеть с долгой краткосрочной памятью (LSTM), предназначенную для прогнозирования вероятности того, соответствуют ли следы кривой блеска комете. Зарегистрированные оценки точности и отклика составили выше 80 и выше 90 процентов. 

Второй этап заключается в извлечении данных с удалённого сайта. Ранее это делалось вручную раз в два месяца путём извлечения физических DVD-носителей, на которых записывались данные. Теперь выполняется автоматизированная передача через FTP и размещение информации с нескольких сайтов на одном сервере для дальнейшей обработки.

Третий этап происходит с использованием серии сценариев Python, которые взаимодействуют с существующим программным стеком CAMS и автоматизируют его. Сюда входит и MeteorCal, который объединяет дополнительную информацию, в том числе информацию о сайте, установленных камерах и звёздных измерениях.

Четвёртый этап — расчёт совпадений. Здесь принимаются подтверждённые кометы и используется информация с нескольких камер для создания траектории. Это позволяет выявить и автоматически исправить отклонения в видеозахвате, которые могут привести к ошибкам. Как и на этапе проверки, автоматизированный подход, основанный на классификаторах, учитывающих форму кривой блеска и максимальные ошибки в географическом положении, предназначен для сокращения человеческого труда.

Пятый этап: кластеризация данных, идентификация вспышек и новых потоков, которые указывали бы на присутствие ранее неизвестной долгопериодической кометы. Используя подход t-Stochastic Neighbor Embedding (t-SNE) к неконтролируемому машинному обучению для обработки параметров с последующей пространственной кластеризацией приложений на основе плотности с шумом (DBSCAN) для групповой идентификации, конвейер научился обнаруживать ранее не идентифицированные метеорные потоки, группы и потенциальные метеорные вспышки.

Доступная визуализация

Самым заметным является шестой этап. Данные CAMS, прошедшие все пять предыдущих ступеней, в необработанном виде доступны только учёным, обученным их интерпретации. Чтобы сделать информацию более доступной, её необходимо представить в более понятной форме. Для этого и существует шестой этап, визуализация.

Здесь данные преобразуются в свободно вращающуюся сферу, доступную в любом современном браузере (если не открывается, попробуйте через VPN) — даже на смартфонах и планшетах. Пользователи, изучающие данные в научных целях или из чистого любопытства, могут исследовать все небо. Они могут использовать самые свежие данные, собранные с каждой станции за ночь, либо переместиться назад во времени вплоть до исходных снимков CAMS в 2010 году.

Возможность сравнивать текущую активность с предыдущими данными создаёт простой способ визуализации необычной активности и новых ливней. Более того, здесь есть потенциал сделать тему доступной для гораздо более широкой аудитории, повысить общественный интерес к науке о кометах, а также позволить использовать свежий подход к изучению новых метеоритных потоков.

Это ключевая особенность CAMS: хотя проект был запущен только с небольшим количеством профессиональных станций, за несколько лет он открыл свои двери для более широкого гражданского научного сообщества. Стало возможным получение данных со станций наблюдения с помощью одной или двух камер и обработка их через тот же автоматизированный конвейер. 

SpaceML и гражданская наука

Ключевым участником конвейера искусственного интеллекта CAMS является SpaceML, расширение ускорителя искусственного интеллекта NASA Frontier Development Lab с открытым исходным кодом, созданное с целью распространения исследований и привлечения гражданских учёных к участию в разработке и развертыванию проекта.

SpaceML построена на идее применения стартапов и принципов гибкой разработки программного обеспечения в качестве средства сокращения времени и повышения успешности научных исследований. Она берет избранные проекты из Frontier Development Lab, включая пайплайн CAMS AI, и обеспечивает расширенную разработку с целью развертывания в реальных условиях.

Важно, что программа имеет открытый исходный код, который снижает входной порог для потенциальных гражданских учёных. Исследователи FDL предоставляют волонтёрам SpaceML руководство по использованию, доступ к ресурсам облачных вычислений через Google Colab и — когда проект достигает достаточной зрелости — наставничество.

Вперёд и вверх

Проект CAMS набирает обороты. В 2015 году сеть камер помогла исследователям найти метеорит, упавший в Калифорнии, и проследить его потенциальное происхождение до семейства астероидов Гефион. В 2015 году смогли определить новый метеоритный поток под названием Волантиды. В 2016 году CAMS привёл исследователей к другому фрагменту астероида в резервации Апач-Уайт-Маунтин и позволил обнаружить, что он возник в поясе астероидов между Марсом и Юпитером.

В 2019 году был обнаружен метеоритный дождь, который потенциально связан с кометой, описанной в книге «Истории войн с 533 года нашей эры»; позже в том же году вспышка была идентифицирована и использована для уточнения орбитального периода кометы Григга-Меллиша, первоначально наблюдавшейся в 1907 году; а в 2020 году наблюдаемый поток привёл к открытию ранее неизвестной долгопериодической кометы, и это лишь некоторые из достижений проекта.

К 2020 году усовершенствования проекта CAMS привели к тому, что новые и необычные метеоритные потоки поступали ежемесячно. В настоящее время проект вырос до более чем 600 камер по всему миру, и нет никаких признаков того, что этот процесс замедлится. Недавно в рамках проекта в сотрудничестве с IISER Tirupati Astronomy Club CELESTIC была создана управляемая студентами наблюдательная станция в Индии, которая закрыла существующий пробел в наблюдениях в северо-восточном полушарии. Ведется сбор средств для ее эксплуатации и дальнейшего расширения.

Более подробная информация о CAMS доступна на сайте Института SETI , а у SpaceML есть собственный сайт , где рассказывается о работе CAMS и многом другом.

Что ещё интересного есть в блоге Cloud4Y

→ Малоизвестный компьютер SWTPC 6800

→ Сделайте Linux похожим на Windows 95

→ Как не позволить техническому долгу одолеть вас

→ WD-40: средство, которое может почти всё

→ Игры для MS-DOS с открытым исходным кодом

Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем только по делу.