Как нейросети учатся понимать смысл: обнаружение «схем» обработки языка

Методология COMPASS выявляет и отслеживает цепи, опосредующие семантические роли в больших языковых моделях, демонстрируя, где происходит вычисление, специфичное для каждой роли, и как оно развивается в процессе обучения: для этого используются минимальные пары, выделяющие связывание предикатов и аргументов, анализ влияния на прогнозы ролей для получения разреженных, каузально функциональных подграфов и временной анализ этих подграфов для определения момента стабилизации их структуры и приобретения вычислительной незаменимости.

Новое исследование показывает, как большие языковые модели выделяют и используют специализированные «схемы» для анализа отношений между словами в предложении.

Оценка качества действий: новый взгляд на причинность и динамику

Предлагаемый подход к решению задачи AQA использует регуляризацию с учётом причинно-следственных связей (CCR), отделяющую причинные и искажающие факторы с помощью причинного разделителя признаков и смешивания контрфактических примеров, а также двунаправленный временной поток (BiT Flow), преобразующий исходное представление $H_{i}^{0}$ в специфичное для AQA представление $H_{i}^{1}$ с обеспечением согласованности во времени и регуляризацией оптимального транспорта, после чего полученное представление регрессируется с помощью многослойного персептрона для оценки качества.

Исследователи предлагают инновационный подход к оценке качества долгосрочных действий, сочетающий причинно-следственный анализ с анализом временных зависимостей.

Хирургический взгляд: новый стандарт понимания видеоданных

В ходе исследования продемонстрировано, что модель OMG-LLaVA, обученная на объединенном наборе данных SurgMLLMBench без дополнительной настройки для каждого отдельного набора, демонстрирует качественную сегментацию инструментов и распознавание рабочих процессов посредством визуального вопросно-ответного подхода (VQA), при этом правильные результаты отображаются зеленым цветом, а ошибочные - красным, что свидетельствует о ее способности к обобщению и эффективной работе в различных хирургических сценариях.

Представлен SurgMLLMBench — масштабный набор данных, призванный улучшить способность искусственного интеллекта анализировать хирургические видео и понимать происходящие манипуляции.

Искусственный интеллект помогает старшему поколению принимать решения

Новое исследование показывает, что генеративные модели ИИ могут снизить сложность выбора для людей всех возрастов, особенно компенсируя возрастные изменения когнитивных функций.

Гибкие нейросети: как динамическая выборка меняет правила игры

Изображения, пропущенные через сеть Resnet-56, демонстрируют искажения, возникающие в процессе обработки, что указывает на способность сети к деформации входных данных и, возможно, к адаптации к нелинейным особенностям пространства признаков.

В новой работе исследователи глубоко анализируют методы динамической выборки в нейронных сетях, выявляя причины нестабильности обучения и предлагая решения для ее стабилизации.

Визуальные вопросы и знания: лёгкий путь к пониманию

Воспроизведенный образец выхода KRISP демонстрирует способность системы к генерации данных, отражающих сложность и детализацию, необходимые для анализа и интерпретации биологических последовательностей.

Новое исследование представляет собой упрощённую реализацию модели KRISP, демонстрирующую, как эффективно интегрировать знания в системы визуального вопросно-ответного анализа.