Трансформеры: От Прогнозирования к Пониманию Причинности
![Обученная для предсказания следующего шага нейронная сеть на основе архитектуры Transformer, используя запаздывающие наблюдения за временными рядами, способна не только моделировать динамические процессы, но и, посредством анализа релевантности, выявлять лежащую в их основе причинно-следственную структуру, как демонстрируется на примере системы с [latex]N=3[/latex] и окном [latex]L=3[/latex].](https://arxiv.org/html/2601.05647v1/x1.png)
Новое исследование показывает, что архитектура трансформеров, изначально разработанная для обработки последовательностей, обладает неожиданной способностью выявлять причинно-следственные связи в данных временных рядов.



![Эксперименты с трёхсторонним соединением [latex]R(A,B) \bowtie_{B} S(B,C) \bowtie_{C} T(C,D)[/latex] с использованием синтетических данных показали, что при контролируемом размере результирующего набора, время доступа к медианному ответу при полном лексикографическом порядке [latex]A \rightarrow B \rightarrow C \rightarrow D[/latex] существенно зависит от значения [latex]k[/latex] при размере отношений в [latex]10^4[/latex], при этом отношение прямого доступа ко времени единичного доступа к медианному ответу остаётся стабильным.](https://arxiv.org/html/2601.06013v1/x1.png)