Доктор Хуан Бернабе-Морено, директор IBM Research Europe в Ирландии и Великобритании, рассказывает о разработке и возможностях передовой базовой модели, которая обещает революционизировать возможности мониторинга климата.
Разработанная IBM и NASA при участии Национальной лаборатории Ок-Риджа, базовая модель погоды и климата направлена на решение некоторых из наиболее острых экологических проблем в мире.
Используя обширные данные наблюдений Земли НАСА, проект делает еще один шаг вперед, делая эту информацию более доступной и полезной для научного сообщества благодаря ее открытому исходному коду. Эта модель позволяет исследователям точно настраивать и специализировать ее для решения конкретных проблем, связанных с климатом, без необходимости использования огромных вычислительных ресурсов.
Благодаря интеграции погодных и климатических данных модель предлагает значительные улучшения по сравнению с предыдущими подходами, особенно в таких областях, как уменьшение масштаба для более точных прогнозов погоды и понимания сложных атмосферных явлений, таких как гравитационные волны. Более того, возможность масштабирования модели от глобального до локального уровня делает ее незаменимой для изучения как общих климатических тенденций, так и конкретных, локализованных погодных явлений.
Мы поговорили с доктором Хуаном Бернабе-Морено из IBM, чтобы узнать больше.
Что побудило IBM, NASA и Окриджскую национальную лабораторию совместно работать над этой моделью?
Итак, это вторая модель, которую мы разработали в рамках данной установки. Все эти усилия были предприняты благодаря обширной коллекции данных наблюдений Земли, собранной НАСА. НАСА, используя свои спутники, сотрудничает с такими учреждениями, как Европейское космическое агентство и другими, для сбора обширного массива данных о нашей планете. Эти данные доступны научному сообществу и общественности, но простого обмена данными часто бывает недостаточно. Вот почему мы хотели предоставить не просто данные, но и базовую модель, построенную на их основе, чтобы научное сообщество могло разработать свои собственные варианты этой модели для решения своих конкретных проблем.
Например, если у вас есть терабайты данных, для обучения вашей собственной модели потребуются значительные инженерные, вычислительные мощности и опыт. С базовой моделью мы проделали большую работу заранее. IBM предоставляет технологии и опыт, Oak Ridge поддерживает инфраструктуру, а NASA предоставляет данные и свой опыт. Совместными усилиями мы разработали эту базовую модель и сделали ее доступной с открытым исходным кодом. Теперь, если вы ученый или исследователь, вам не нужно начинать с нуля. Вы можете использовать базовую модель и добавить небольшое количество дополнительных данных — возможно, от 500 до 1000 точек данных — и, используя всего несколько графических процессоров, вы сможете специализировать модель для решения конкретной задачи.
В моделировании погоды и климата этот подход имеет огромное значение. Возьмем, к примеру, уменьшение масштаба. Раньше это могло занимать недели и требовало мощного кластера для решения сложных задач. Теперь, с нашей моделью, это можно сделать намного быстрее, с меньшими затратами ресурсов и с точностью, которая не уступает современным достижениям или превосходит их. Более того, возможность выполнять это быстро и недорого означает, что вы можете запускать больше сценариев, получая более качественные и масштабные результаты.
В чем заключались некоторые ограничения предыдущих климатических моделей и в чем преимущества этой новой?
Одним из основных ограничений является масштабируемость. Вы часто ограничены в вычислениях, системных данных и трудностях объединения различных источников данных. Эти задачи могут превратить научные исследования в сложные ИТ-проекты. Вы сталкиваетесь с вычислительными ограничениями, проблемами доступности данных и сложностью интеграции нескольких типов данных. Кроме того, изменение климата само по себе изменяет данные и наблюдения, поэтому модели, построенные на основе прошлого опыта, испытывают трудности с предсказуемостью.
Наша модель значительно снижает порог входа, позволяя большему числу людей использовать ее. Для решения этих задач вам нужны эксперты в различных областях — метеорологии, вычислительной технике и статистическом анализе. Упрощая процесс с помощью нашей базовой модели, мы ускоряем анализ, фиксируем больше взаимосвязей в данных и помогаем выявлять скрытые явления, которые могут сигнализировать об экстремальных погодных явлениях в будущем. Такой подход также значительно ускоряет работу — то, на что раньше уходили недели в крупных центрах высокопроизводительных вычислений (HPC), теперь можно выполнить за несколько часов с помощью точной настройки.
Модель была разработана на основе данных наблюдений Земли НАСА за 40 лет. Насколько важны были эти данные для повышения точности?
Существует несколько институциональных наборов данных о погоде, таких как ERA5 из Европы и MERRA-2 из НАСА. Мы выбрали MERRA-2, потому что она принадлежит Глобальному бюро моделирования НАСА, и мы тесно сотрудничали с ними, поэтому они очень хорошо знали данные. MERRA-2 — это многогранный набор данных с разрешением сетки от 50 до 65 км, 14 слоями атмосферы и множеством переменных, таких как температура, влажность, скорость ветра и давление.
Это невероятно сложный и всеобъемлющий набор данных, который стал для нас идеальной отправной точкой из-за его истории, разрешения и полноты. Однако мы не хотели ограничивать нашу модель только MERRA-2. Одним из наших достижений стала возможность работать с различными наборами данных, что позволило устранить это ограничение. Например, вы могли бы точно настроить нашу модель, используя данные ERA5 или даже свои собственные наблюдения. Такая гибкость имела решающее значение, особенно для таких приложений, как возобновляемая энергетика, где требуется точность на уровне активов, которую не могут обеспечить стандартные сетевые данные.
Не могли бы вы подробнее рассказать о конкретных доработанных версиях модели, в частности, об уменьшении масштаба климатических и погодных данных и параметризации гравитационных волн? Как они повышают точность прогнозирования?
Масштабирование имеет решающее значение, поскольку климатические модели, которые позволяют прогнозировать на 100 лет вперед, имеют приблизительное разрешение — примерно 160 км на 160 км. Это слишком большое значение для детального отображения погодных явлений, для чего требуется разрешение не менее 12 км. Итак, наша идея заключалась в том, чтобы использовать эти долгосрочные климатические модели и уменьшить их масштаб до более высокого разрешения, необходимого для прогнозирования погоды. Это помогает нам лучше понимать экстремальные погодные явления в будущем.
Поскольку наши модели дешевле и быстрее в использовании по сравнению с традиционными подходами, основанными на HPC, вы можете создавать несколько моделей в меньшем масштабе и сравнивать их, предоставляя ценную информацию о будущих погодных условиях. Это может помочь ученым, политикам и даже таким отраслям, как сельское хозяйство и страхование, планировать будущее.
Другая модель фокусируется на параметризации гравитационных волн, что особенно заинтересовало наших коллег из НАСА. Гравитационные волны неуловимы, и их трудно уловить традиционными методами. Наша модель помогает лучше понять взаимосвязь между этими волнами и конкретными атмосферными явлениями, но это скорее научная задача для более узкой аудитории по сравнению с более широкими последствиями уменьшения масштаба.
Модель может работать в глобальном, региональном и локальном масштабах. Почему эта возможность так важна?
Это чрезвычайно важно. Возьмем, к примеру, Эль-Ниньо. Это глобальное климатическое явление, которое формируется в течение нескольких месяцев и затрагивает половину Земли. Чтобы понять что-то подобное, вам нужно смоделировать это в глобальном масштабе. С другой стороны, когда вы отслеживаете что-то вроде урагана, вам нужна высоколокализованная модель, чтобы предсказать, где и когда он обрушится и с какой интенсивностью. Гибкость модели для масштабирования от глобального до локального означает, что мы можем изучать общие явления, такие как Эль-Ниньо, а также детализировать конкретные последствия ураганов, экстремальных погодных условий или даже характера ветра на очень узком уровне.
Вы упомянули, что модель имеет открытый исходный код. Насколько это важно для продвижения исследований и предоставления возможности другим использовать их?
Открытый исходный код имеет решающее значение. NASA выступает с инициативой «Открытая наука», а IBM стремится внедрять свои модели с открытым исходным кодом, чтобы стимулировать их внедрение. Модель изначально была открытой, потому что мы хотим дать научному сообществу возможность работать на ее основе. Наша цель состоит в том, чтобы как можно больше исследователей внесли свой вклад в решение климатических проблем, будь то улучшение адаптации к изменению климата или стратегии жизнестойкости.
Например, мы использовали более раннюю модель для наблюдения Земли с открытым исходным кодом, и с тех пор университеты, климатические институты и даже оборонные организации создали на ее основе свои собственные приложения. Они предоставили ценные отзывы и поделились улучшениями, которые помогли еще больше усовершенствовать модель. Такого рода инновации, ориентированные на сообщество, необходимы, и с такой серьезной проблемой, как изменение климата, ни одна организация не может справиться в одиночку. Вот почему открытый исходный код и сотрудничество являются ключевыми факторами.
IBM сотрудничает с Министерством окружающей среды и изменения климата Канады (ECCC), чтобы протестировать гибкость модели. Как зарекомендовала себя эта модель?
Пока еще рано, но мы видим многообещающие результаты. Мы поделились с ними базовой моделью и работаем над такими задачами, как прогнозирование погоды, объединяя прогнозы погоды с данными радара высокого разрешения. Тесты показали универсальность модели, и мы используем данные радара, чтобы помочь более точно прогнозировать осадки в краткосрочной перспективе. Это сотрудничество подтверждает адаптивность модели, и по мере того, как мы продолжаем работать с ними, мы получаем новые идеи, которые помогут нам усовершенствовать модель для следующего этапа обучения.2
Заглядывая вперед, как вы думаете, каково будет долгосрочное воздействие этой модели?
Трудно предсказать полное долгосрочное воздействие, но мы считаем, что эти базовые модели будут объединены и создадут нечто по-настоящему уникальное. Интегрируя различные наборы данных — будь то данные наблюдений Земли, погодные или климатические данные — вы сможете создать взаимосвязи между различными типами информации. Это открывает совершенно новые возможности. Например, вы могли бы понять, как климат влияет на биоразнообразие лесов, или связать погодные условия с производством энергии из возобновляемых источников. Потенциальные открытия огромны, и, когда модель находится в руках сообщества, возможности для решения таких проблем, как изменение климата, являются очень многообещающими.
На самом деле речь идет о том, чтобы организации объединились для решения глобальной задачи. Наши отношения с НАСА длятся уже много лет, включая работу над миссиями «Аполлон». Основополагающие модели и генеративный искусственный интеллект — это невероятные технологии, которые помогают в этом. Часто мы думаем об ИИ в терминах языковых моделей или генеративных приложений, но возможности ИИ простираются далеко за пределы этого, в такие области, как наука о климате, где он действительно может изменить ситуацию к лучшему.
Что нас больше всего волнует, так это то, как лучшие научные умы мира возьмут на вооружение эту модель и создадут то, что мы пока даже не могли себе представить. Технологии и инструменты уже есть, но волшебство произойдет, когда сообщество объединится, чтобы их использовать.
+ There are no comments
Add yours