Эволюция уравнений: поиск решений в мире случайных процессов

Автор: Денис Аветисян


Новый подход, основанный на генетическом программировании, позволяет автоматически выводить символьные уравнения для стохастических дифференциальных уравнений.

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу
Предложен метод генетического программирования стохастических дифференциальных уравнений, позволяющий находить символьные выражения для дрифта <span class="katex-eq" data-katex-display="false">f(x)</span> и диффузии <span class="katex-eq" data-katex-display="false">g(x)</span> путём адаптации деревьев посредством кроссовера (обмена поддеревьями) и мутаций операторов, что обеспечивает интерпретируемость и генеративное моделирование стохастических систем, применимое к различным динамическим процессам.
Предложен метод генетического программирования стохастических дифференциальных уравнений, позволяющий находить символьные выражения для дрифта f(x) и диффузии g(x) путём адаптации деревьев посредством кроссовера (обмена поддеревьями) и мутаций операторов, что обеспечивает интерпретируемость и генеративное моделирование стохастических систем, применимое к различным динамическим процессам.

В статье представлен метод символической регрессии для идентификации систем, описываемых стохастическими дифференциальными уравнениями, с улучшенной масштабируемостью для многомерных задач.

Традиционные подходы к идентификации динамических систем часто пренебрегают ролью случайных возмущений, считая их лишь источником шума. В работе ‘Symbolic Discovery of Stochastic Differential Equations with Genetic Programming’ предложен новый метод, использующий генетическое программирование для одновременного выявления дрифтовых и диффузионных функций стохастических дифференциальных уравнений. Полученные результаты демонстрируют высокую точность восстановления уравнений, масштабируемость к многомерным системам и возможность обобщения на стохастические частные дифференциальные уравнения. Не открывает ли это путь к автоматизированному научному открытию в условиях неопределенности и динамики?


Моделирование Сложности: Пределы Традиционных Уравнений

Многие природные явления, начиная от формирования погодных условий и заканчивая динамикой популяций, характеризуются внутренней стохастичностью и нелинейностью, что делает невозможным их точное описание с помощью традиционных аналитических методов. Вместо предсказуемых результатов, эти системы демонстрируют чувствительность к начальным условиям и случайные колебания, приводящие к сложным и часто непредсказуемым траекториям развития. Например, даже незначительные изменения в температуре или влажности могут существенно повлиять на формирование шторма, а случайные факторы, такие как доступность ресурсов или встречи с хищниками, могут кардинально изменить численность популяции. Такая сложность требует разработки новых подходов к моделированию, способных учитывать вероятностный характер процессов и сложные взаимодействия между элементами системы, поскольку стремление к абсолютному предсказанию в этих условиях оказывается неосуществимым.

Традиционные методы моделирования, стремясь к элегантности и простоте, часто вынуждены прибегать к упрощающим допущениям. Это неизбежно приводит к потере точности при описании реальных процессов, особенно когда речь идет о сложных системах. Например, при изучении динамики популяций, часто предполагается постоянная скорость роста или игнорируются взаимодействия между видами. Хотя такие упрощения позволяют получить аналитические решения, они могут существенно исказить картину, упуская важные аспекты поведения системы. В результате, модели, основанные на таких допущениях, могут давать неверные прогнозы или не отражать ключевые закономерности, проявляющиеся в природе. Подобные ограничения особенно заметны при рассмотрении нелинейных и стохастических явлений, где даже незначительные упрощения могут привести к существенным отклонениям от реальности.

Для адекватного описания природных явлений, характеризующихся стохастичностью и нелинейностью, традиционных математических моделей зачастую недостаточно. Необходимы методы, способные учитывать внутреннюю случайность процессов и сложные взаимодействия между их компонентами. Современные подходы, такие как агентное моделирование и методы Монте-Карло, позволяют исследовать системы, в которых даже незначительные начальные изменения могут приводить к кардинально различным результатам. Эти методы не стремятся к получению точного аналитического решения, а фокусируются на статистическом описании поведения системы, позволяя выявлять закономерности и прогнозировать вероятные сценарии развития, например, в экологии, эпидемиологии или финансовом моделировании. P(x) — вероятность состояния x, рассчитываемая на основе множества симуляций.

Метод GP-SDE точно восстанавливает уравнения стохастических динамических систем, демонстрируя минимальную среднеквадратичную ошибку (MSE) и успешно определяя структуру уравнений для всех переменных в различных тестовых задачах, включая двойную яму, осциллятор Ван дер Поля, аттрактор Рёсслера, модель Лоренца96 и модель Лотки-Вольтерры, превосходя альтернативные подходы, такие как расширение Крамерса-Мойяла с разреженной регрессией (KM-SR) и генетическое программирование обыкновенных дифференциальных уравнений (GP-ODE).
Метод GP-SDE точно восстанавливает уравнения стохастических динамических систем, демонстрируя минимальную среднеквадратичную ошибку (MSE) и успешно определяя структуру уравнений для всех переменных в различных тестовых задачах, включая двойную яму, осциллятор Ван дер Поля, аттрактор Рёсслера, модель Лоренца96 и модель Лотки-Вольтерры, превосходя альтернативные подходы, такие как расширение Крамерса-Мойяла с разреженной регрессией (KM-SR) и генетическое программирование обыкновенных дифференциальных уравнений (GP-ODE).

Стохастические Дифференциальные Уравнения: Основа Реалистичного Моделирования

Стохастические дифференциальные уравнения (СДУ) обеспечивают естественный способ моделирования систем, подверженных случайным возмущениям, что позволяет получить более реалистичное представление многих физических и биологических процессов. В отличие от детерминированных моделей, которые предполагают полную предсказуемость, СДУ вводят случайный компонент, описывающий непредсказуемые флуктуации. Это особенно важно при моделировании явлений, где шум и неопределенность являются неотъемлемой частью системы, например, броуновское движение частиц, колебания цен на финансовых рынках или динамика популяций, подверженных случайным воздействиям окружающей среды. Математически, СДУ обычно записываются в виде dX_t = \mu(X_t, t)dt + \sigma(X_t, t)dW_t , где dX_t — изменение процесса X в момент времени t , μ — дрифт, определяющий тренд, σ — коэффициент диффузии, описывающий интенсивность случайных колебаний, а dW_t — винеровский процесс, представляющий собой случайное движение.

Стохастические дифференциальные уравнения (СДУ) расширяют возможности традиционных детерминированных моделей путем введения диффузионного члена. Этот член, как правило, представляет собой \sigma dW(t) , где W(t) — винеровский процесс (броуновское движение), отражающий случайные флуктуации. Добавление этого члена позволяет моделировать системы, подверженные непредсказуемым воздействиям, которые не могут быть описаны только детерминированными законами. В результате, СДУ описывают не конкретную траекторию системы, а вероятностное распределение возможных состояний, что делает их применимыми для моделирования явлений, где случайность играет существенную роль.

Стохастические дифференциальные уравнения (СДУ) находят применение в моделировании широкого спектра явлений. В области теплопередачи, СДУ описывают случайные флуктуации, влияющие на распространение тепла. В популяционной динамике, уравнение Фишера-КПП ( \frac{\partial u}{\partial t} = D \frac{\partial^2 u}{\partial x^2} + r u (1 - \frac{u}{K}) ) — частный случай СДУ, позволяющий моделировать распространение генов или рост популяций с учетом случайных факторов. В метеорологии, модель Лоренца 96 ( \frac{dx_i}{dt} = \sum_{j=1}^{N} (x_{j+1} - x_{j-1}) - x_i ) использует СДУ для описания атмосферной динамики и прогнозирования погоды, учитывая хаотичность и непредсказуемость атмосферных процессов. Универсальность СДУ обусловлена возможностью включения в модели диффузионных членов, отражающих влияние случайных возмущений.

Метод GP-SDE способен восстанавливать стохастические частные дифференциальные уравнения, что демонстрируется на примере эволюции уравнения Фишера-КПП и двумерной теплопроводности, где восстановленные системы соответствуют истинным уравнениям.
Метод GP-SDE способен восстанавливать стохастические частные дифференциальные уравнения, что демонстрируется на примере эволюции уравнения Фишера-КПП и двумерной теплопроводности, где восстановленные системы соответствуют истинным уравнениям.

Автоматизированное Открытие Уравнений: Символьная Регрессия и За её Пределами

Символьная регрессия представляет собой мощный метод автоматического выявления уравнений, описывающих поведение системы, непосредственно на основе данных. В отличие от традиционных подходов, требующих предварительного определения структуры модели, символьная регрессия позволяет найти математическое выражение, наилучшим образом соответствующее наблюдаемым данным, без априорных знаний о виде и параметрах уравнения. Этот процесс осуществляется путем поиска в пространстве возможных математических выражений, используя алгоритмы, такие как генетическое программирование, и оценивая их соответствие данным с помощью метрик, например, среднеквадратичной ошибки (MSE). Таким образом, символьная регрессия позволяет получать уравнения в виде y = f(x), где f — математическая функция, автоматически выведенная из данных x и y.

Метод символической регрессии, использующий генетическое программирование, позволяет автоматически находить математические выражения, наилучшим образом соответствующие наблюдаемым данным, без необходимости предварительного задания структуры модели. Вместо этого, генетическое программирование формирует и эволюционирует популяцию математических выражений — представленных, например, в виде деревьев операций — посредством таких механизмов, как отбор, кроссовер и мутация. Процесс оптимизации направлен на минимизацию расхождения между предсказаниями полученной модели и экспериментальными данными, что позволяет выявить скрытые закономерности и определить функциональную зависимость между входными и выходными переменными без априорных предположений о виде уравнения. Это особенно полезно в случаях, когда аналитическая форма уравнения неизвестна или слишком сложна для ручного вывода.

Методы расширения Крамерса-Мойяла и разреженного регресса (Sparse Regression) используются для усовершенствования процесса символьной регрессии, позволяя выделить наиболее значимые члены в искомом уравнении и упростить его. Расширение Крамерса-Мойяла аппроксимирует диффузионные процессы с использованием ряда, что позволяет идентифицировать доминирующие члены и уменьшить вычислительную сложность. Разреженный регресс, в свою очередь, использует методы регуляризации, такие как L1-норма, для принудительного обнуления коэффициентов при незначимых членах уравнения, что приводит к более лаконичному и интерпретируемому результату. В результате применения этих методов, итоговая модель описывает систему с использованием минимального количества необходимых параметров, улучшая обобщающую способность и снижая риск переобучения. Например, для описания динамической системы, вместо полного ряда f(x,t), используется лишь несколько ключевых членов, что существенно упрощает анализ и прогнозирование поведения системы.

Исследования показали, что алгоритм GP-SDE демонстрирует сопоставимую или более низкую среднеквадратичную ошибку (MSE) по сравнению с методами Kramers-Moyal Symbolic Regression (KM-SR) и Genetic Programming for Ordinary Differential Equations (GP-ODE) на стандартных тестовых задачах — двойной потенциальной яме, осцилляторе Ван дер Поля и аттракторе Рёсслера. Результаты показывают, что GP-SDE способен эффективно аппроксимировать динамику систем, представленных данными, с точностью, не уступающей, а в некоторых случаях и превосходящей, альтернативные методы символьной регрессии и решения дифференциальных уравнений. Оценка проводилась на основе метрики MSE, позволяющей количественно оценить отклонение предсказанных значений от фактических данных.

Моделирование аттрактора Рёсслера показало, что как обыкновенные дифференциальные уравнения, полученные с помощью генетического программирования (GP-ODE), так и стохастические дифференциальные уравнения (GP-SDE), эволюционирующие из одной и той же начальной точки, позволяют воспроизвести траектории системы, при этом метод, основанный на расширении Крамерса-Мойяла и разрешенном регрессионе (KM-SR), демонстрирует сходимость к среднему значению с определенным разбросом, как показано на графиках (a, b, c), а соответствующие уравнения представлены в Таблице 1.
Моделирование аттрактора Рёсслера показало, что как обыкновенные дифференциальные уравнения, полученные с помощью генетического программирования (GP-ODE), так и стохастические дифференциальные уравнения (GP-SDE), эволюционирующие из одной и той же начальной точки, позволяют воспроизвести траектории системы, при этом метод, основанный на расширении Крамерса-Мойяла и разрешенном регрессионе (KM-SR), демонстрирует сходимость к среднему значению с определенным разбросом, как показано на графиках (a, b, c), а соответствующие уравнения представлены в Таблице 1.

Численные Решения и Валидация Модели

Точность численного интегрирования играет фундаментальную роль в моделировании стохастических дифференциальных уравнений (СДУ) и верификации уравнений, полученных посредством символьной регрессии. Адекватное приближение решений СДУ требует методов, способных эффективно обрабатывать случайные возмущения, что напрямую влияет на достоверность результатов моделирования. В частности, при валидации уравнений, обнаруженных символьной регрессией, точное численное решение позволяет сравнить поведение модели с наблюдаемыми данными и оценить её соответствие реальности. Недостаточная точность численного интегрирования может привести к искажению динамики системы, ошибочной интерпретации результатов и, как следствие, к неверным выводам о структуре и параметрах СДУ. Таким образом, выбор подходящего численного метода и обеспечение его точности являются критически важными этапами в процессе моделирования и анализа сложных систем, описываемых стохастическими уравнениями.

Многошаговые методы интегрирования представляют собой эффективный подход к приближенному решению стохастических дифференциальных уравнений, позволяя проводить долгосрочное моделирование и всестороннее исследование параметров системы. В отличие от одношаговых методов, требующих вычисления производных в каждой точке времени, многошаговые методы используют информацию из предыдущих шагов для экстраполяции текущего решения, что значительно снижает вычислительные затраты. Это особенно важно при изучении сложных динамических систем, где требуется моделирование на длительных временных интервалах или проведение параметрических исследований для определения чувствительности системы к различным факторам. Использование таких методов позволяет исследователям эффективно анализировать поведение системы в широком диапазоне условий и выявлять ключевые закономерности, которые могли бы остаться незамеченными при использовании менее эффективных численных подходов. Например, при моделировании dX_t = aX_t dt + bX_t dW_t многошаговые методы позволяют точно определить влияние параметров a и b на траекторию процесса X_t .

Метод максимального правдоподобия (ММП) играет ключевую роль в процессе подгонки параметров обнаруженных уравнений к экспериментальным данным. Суть подхода заключается в определении значений параметров модели, которые максимизируют вероятность наблюдения имеющегося набора данных. В контексте стохастических дифференциальных уравнений (СДУ), ММП позволяет оценить параметры, определяющие как динамику системы, так и интенсивность случайных флуктуаций. Точная подгонка параметров критически важна для обеспечения того, чтобы открытые уравнения адекватно описывали наблюдаемое поведение системы, позволяя проводить достоверное моделирование и предсказание будущих состояний. Использование ММП в сочетании с численными методами интеграции, такими как многошаговые схемы, позволяет достичь высокой точности и надежности в процессе идентификации моделей из данных, даже в условиях ограниченного объема информации или наличия шума.

Исследования показали, что алгоритм GP-SDE демонстрирует стабильное время выполнения даже при увеличении размерности задачи до 10 и 20, используя в качестве примера модель Lorenz96. В отличие от него, алгоритм KM-SR испытывает значительное увеличение времени выполнения при аналогичном увеличении размерности. Эта особенность делает GP-SDE более подходящим для моделирования сложных систем с большим количеством переменных, где эффективность вычислений играет критическую роль. Полученные результаты указывают на то, что GP-SDE обладает лучшей масштабируемостью и может быть использован для анализа более сложных и высокоразмерных данных, чем KM-SR.

Исследования показали, что алгоритм GP-SDE, применяемый совместно с методами многошаговой интеграции, демонстрирует повышенную эффективность при работе с ограниченными объемами данных. В частности, при моделировании системы Лоренца, известной как Lotka-Volterra, при частоте дискретизации 0.02, 0.2 и 0.5, комбинация GP-SDE и многошаговых методов позволила достичь более точных и стабильных результатов по сравнению с другими подходами. Это особенно важно в ситуациях, когда сбор данных затруднен или дорог, поскольку позволяет получить надежные прогнозы даже при неполной информации. Таким образом, предложенный подход открывает возможности для моделирования сложных систем в условиях ограниченной наблюдаемости.

С увеличением размерности модели Lorenz96 метод KM-SR с четырьмя и шестнадцатью бинами (bb) демонстрирует более высокую скорость работы по сравнению с GP-ODE и GP-SDE, при этом время работы усреднено по десяти случайным инициализациям после компиляции алгоритмов.
С увеличением размерности модели Lorenz96 метод KM-SR с четырьмя и шестнадцатью бинами (bb) демонстрирует более высокую скорость работы по сравнению с GP-ODE и GP-SDE, при этом время работы усреднено по десяти случайным инициализациям после компиляции алгоритмов.

Исследование, представленное в статье, демонстрирует, что даже сложные стохастические дифференциальные уравнения поддаются символическому обнаружению с помощью генетического программирования. Этот подход, хотя и требует вычислительных ресурсов, позволяет находить компактные и понятные уравнения, описывающие динамику систем. В контексте этого, как-то заметил Пол Эрдёш: «Математика — это искусство не думать». По сути, статья показывает, как автоматизированный поиск закономерностей позволяет обойти необходимость в интуитивных, но часто ошибочных, предположениях. Авторы успешно решают задачу идентификации систем, что является важным шагом к созданию более надежных и предсказуемых моделей, несмотря на неизбежный технический долг, который всегда сопровождает любую «революционную» технологию.

Что дальше?

Представленный подход к символическому обнаружению стохастических дифференциальных уравнений, безусловно, интересен. Однако, не стоит обольщаться. За каждой «революционной» реализацией генетического программирования скрывается неизбежный технический долг. Уверен, что через пару лет, когда размерность задачи увеличится вдвое, кто-нибудь воскликнет: «Нужно добавить ещё слоёв нейронной сети!» и получит новое финансирование. Этот алгоритм, как и любой другой, рано или поздно столкнётся с ограничениями вычислительных ресурсов и необходимостью компромиссов между точностью и скоростью.

Особенно остро встаёт вопрос о масштабируемости. Сейчас это выглядит элегантно, но стоит лишь подумать о реальных, многомерных системах, как начинаешь подозревать, что они просто повторяют модные слова. Поиск «правильной» функции при огромном количестве возможных кандидатов — задача нетривиальная, и оптимизация генетического алгоритма — это лишь отсрочка неизбежного. Будет интересно наблюдать, как этот метод адаптируется к задачам, где данные зашумлены и неполны — ведь документация снова соврет о «чистоте» входных данных.

Вероятно, будущее за гибридными подходами, сочетающими символическое выведение уравнений с обучением на данных. Но не стоит забывать, что даже самые сложные модели — это лишь приближения к реальности. В конечном итоге, все эти «открытия» — это всего лишь попытки описать хаос, а хаос, как известно, всегда находит способ сломать элегантную теорию. Когда-то все это было простым bash-скриптом.


Оригинал статьи: https://arxiv.org/pdf/2603.09597.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-11 10:32