Применять полученные на курсе "Нейронные сети и их применение в научных исследованиях" знания можно и после окончания обучения.
Выпускник 4-го потока, а ныне преподаватель MSU.AI, Никита Беляков, продолжил заниматься анализом климатических структур и атмосферы Земли на спутниковых снимках в аспирантуре Центра прикладного ИИ Сколтеха.
"Загоревшись работой со спутниковыми снимками и думая над улучшением качества их обработки в аспирантуре Центра прикладного ИИ Сколтеха, я продолжил заниматься проблемой выделения климатических структур на снимках дистанционного зондирования Земли (ДЗЗ), что являлось логическим продолжением моего диплома и курсовой работы в MSU.AI.
В связи с нехваткой размеченных данных со спутников и неточными алгоритмами отделения облаков и их теней на снимках, я стал работать над разработкой новых специфичных аугментаций для мультиспектральных данных, позволивших бы расширить количество данных для обучения сегментации на целевые классы.
Вдохновившись идеями коллег из центра ИИ Сколтеха, я разработал ряд нейросетевых аугментаций, позволяющих "дорисовывать" обученной моделью облака, их тени и снежные текстуры на чистых снимках, тем самым делая данные более вариативными для обучения.
Разработанные аугментации были протестированы на открытых данных спутника Landsat-8 и показали значительное улучшение качества распознавания облаков и их теней, что является очень ценным результатом для анализа подстилающей поверхности на снимках ДЗЗ" — комментирует Никита Беляков.
Немного об исследовании:
Никита Беляков совместно с учёными Центра искусственного интеллекта Сколтеха разработали методику CSIA (Climate Structures Inpainting Augmentations), которая помогает нейросетям точнее распознавать сложные климатические структуры — облака, их тени, снежные участки — на спутниковых снимках.
Алгоритм дорисовывает реалистичные климатические структуры в те области, где их нет, искусственно увеличивая обучающую выборку. Это помогает моделям лучше понимать геометрию и оптику облаков и снега, что особенно важно для сложных климатических регионов. Новый подход позволяет точнее сегментировать редкие явления на спутниковых снимках, улучшить климатический мониторинг обширных территорий, повысить качество анализа лесного покрова, экологии и сельского хозяйства.
Светлана Илларионова, руководитель исследовательской группы Центра ИИ Сколтеха: «Мы искусственно расширяем выборку и учим нейросеть не путаться, когда ей встречаются редкие или сложные для сегментации явления. Наш метод помогает моделям точнее понимать климатические объекты, что особенно важно при анализе больших регионов и редких погодных феноменов».
Отметим, что CSIA уже протестирована на данных Landsat-8 и SPARCS и показала отличные результаты! Дополнительную точность даёт комбинация с архитектурой U-Net++ и методом Model Soups.