Пределы сжатой памяти: Infini-Attention в компактных нейросетях

В ходе обучения модели, сравнение функции потерь демонстрирует превосходство архитектуры Infini-attention над базовой моделью, что свидетельствует о её большей эффективности в процессе оптимизации.

Новое исследование показывает, как механизм Infini-Attention позволяет улучшить процесс обучения небольших языковых моделей и расширить их возможности в работе с длинными последовательностями.

Мозг на волнах: Нейросети расшифровывают мысли по активности мозга

Модель SpectralBrainGNN, представленная на схеме, предназначена для классификации когнитивных задач посредством анализа спектральных характеристик данных, что позволяет эффективно выявлять закономерности в сложных когнитивных процессах.

Новое исследование демонстрирует, как анализ частотных характеристик связей в мозге позволяет с высокой точностью определить, о чем думает человек.

Зрение и язык: новый шаг к автономному вождению

В отличие от типичных визуально-языковых моделей, использующих исключительно изображения для обучения через ответы на вопросы, представленный подход использует как изображения, так и данные лидара, применяя специально разработанные вопросы, учитывающие пространственное расположение объектов, для эффективной интеграции лидара и углубленного понимания пространственной информации.

Исследователи разработали систему, объединяющую данные лидаров и языковых моделей для более точного восприятия окружающего мира и принятия решений автомобилем-автопилотом.

Отчетность об устойчивом развитии: Автоматизация анализа с помощью искусственного интеллекта

Сравнительный анализ фактических значений и прогнозов модели для ключевых показателей эффективности, соответствующих критериям таксономии ЕС, демонстрирует соответствие предложенного подхода и его потенциал для оценки соответствия экологическим стандартам.

Новое исследование демонстрирует возможности автоматического извлечения ключевых показателей эффективности из корпоративных отчетов об устойчивом развитии с использованием современных моделей искусственного интеллекта.

Самообучающиеся модели: новый подход к планированию

Итеративный процесс развертывания для планирования предполагает последовательное уточнение модели [latex]generation_n[/latex] посредством обучения на результатах решения фиксированного набора задач, где корректно выполненные задачи, выявленные внешней валидацией, вместе с данными предыдущих итераций, служат основой для создания улучшенной версии [latex]generation_{n+1}[/latex].

Исследователи продемонстрировали, что последовательное развертывание и дообучение больших языковых моделей на отфильтрованных данных о предыдущих итерациях значительно улучшает их способность к планированию.

Искусственный интеллект в реальном мире: ускорение динамических моделей на грани вычислений

Ускорение на базе FPGA достигается за счет использования эквивалентной архитектуры, основанной на нейронных потоках, для реализации нейронных дифференциальных уравнений.

Новая разработка позволяет эффективно восстанавливать модели физических систем непосредственно на периферийных устройствах, открывая возможности для широкого спектра приложений.

Видение и язык: новый подход к анализу данных дистанционного зондирования

Многомасштабный конвейер объединения, представленный в данной работе, обрабатывает изображения низкого и высокого разрешения, извлекая многомасштабные признаки из высокоразрешенного изображения посредством скользящих окон, а затем объединяет их с признаками низкого разрешения посредством общей многомасштабной визуальной кодировки, после чего, используя механизм gating, внедряет объединенные детализированные признаки в выбранные скрытые слои большой языковой модели [latex]LLM[/latex].

Исследователи представили инновационную модель, объединяющую визуальную информацию и лингвистические запросы для более эффективной интерпретации спутниковых снимков.

Визуальный интеллект в сетях 6G: объединяя зрение и связь

В разработанной архитектуре предварительное обучение модели WMFM осуществляется в два этапа: на первом этапе формируется базовая модель, после чего отбрасываются проекционные головы, а на втором этапе предварительно обученная модель напрямую адаптируется для решения целевой задачи.

Новая модель объединяет данные беспроводных каналов со зрительной информацией, открывая возможности для точной локализации и анализа условий распространения сигнала в будущих сетях.