Денис Аветисян

Пределы сжатой памяти: Infini-Attention в компактных нейросетях

от

В ходе обучения модели, сравнение функции потерь демонстрирует превосходство архитектуры Infini-attention над базовой моделью, что свидетельствует о её большей эффективности в процессе оптимизации.

Новое исследование показывает, как механизм Infini-Attention позволяет улучшить процесс обучения небольших языковых моделей и расширить их возможности в работе с длинными последовательностями.

Мозг на волнах: Нейросети расшифровывают мысли по активности мозга

от

Модель SpectralBrainGNN, представленная на схеме, предназначена для классификации когнитивных задач посредством анализа спектральных характеристик данных, что позволяет эффективно выявлять закономерности в сложных когнитивных процессах.

Новое исследование демонстрирует, как анализ частотных характеристик связей в мозге позволяет с высокой точностью определить, о чем думает человек.

Обучение с подкреплением: Новый подход к локальной сходимости

от

Итерационный процесс QQ-приближения, применённый к марковскому процессу принятия решений Garnet при значительном расхождении норм, демонстрирует, что применение температурной гомотопии позволяет добиться сходимости, при этом затенённые области, обозначающие 25-й и 75-й процентили при различных начальных значениях, указывают на устойчивость метода, а пунктирная линия отмечает момент достижения целевого значения τ.

Исследователи разработали алгоритм, гарантирующий сходимость в обучении с подкреплением за счет адаптивной корректировки весов и учета стационарной нормы оператора Беллмана.

Зрение и язык: новый шаг к автономному вождению

от

В отличие от типичных визуально-языковых моделей, использующих исключительно изображения для обучения через ответы на вопросы, представленный подход использует как изображения, так и данные лидара, применяя специально разработанные вопросы, учитывающие пространственное расположение объектов, для эффективной интеграции лидара и углубленного понимания пространственной информации.

Исследователи разработали систему, объединяющую данные лидаров и языковых моделей для более точного восприятия окружающего мира и принятия решений автомобилем-автопилотом.

Отчетность об устойчивом развитии: Автоматизация анализа с помощью искусственного интеллекта

от

Сравнительный анализ фактических значений и прогнозов модели для ключевых показателей эффективности, соответствующих критериям таксономии ЕС, демонстрирует соответствие предложенного подхода и его потенциал для оценки соответствия экологическим стандартам.

Новое исследование демонстрирует возможности автоматического извлечения ключевых показателей эффективности из корпоративных отчетов об устойчивом развитии с использованием современных моделей искусственного интеллекта.

Оптимизация обучения нейросетей: новый подход на основе оптимального управления

от

Кривые потерь при обучении и валидации на наборе данных Cambridge Landmarks демонстрируют сходимость модели и позволяют оценить её обобщающую способность, выявляя потенциальную пере- или недо-подгонку к данным.

В статье представлен алгоритм OCP-LS, сочетающий методы оптимального управления и оценку кривизны для значительного ускорения сходимости и повышения обобщающей способности нейронных сетей.

Самообучающиеся модели: новый подход к планированию

от

Итеративный процесс развертывания для планирования предполагает последовательное уточнение модели [latex]generation_n[/latex] посредством обучения на результатах решения фиксированного набора задач, где корректно выполненные задачи, выявленные внешней валидацией, вместе с данными предыдущих итераций, служат основой для создания улучшенной версии [latex]generation_{n+1}[/latex].

Исследователи продемонстрировали, что последовательное развертывание и дообучение больших языковых моделей на отфильтрованных данных о предыдущих итерациях значительно улучшает их способность к планированию.

Искусственный интеллект в реальном мире: ускорение динамических моделей на грани вычислений

от

Ускорение на базе FPGA достигается за счет использования эквивалентной архитектуры, основанной на нейронных потоках, для реализации нейронных дифференциальных уравнений.

Новая разработка позволяет эффективно восстанавливать модели физических систем непосредственно на периферийных устройствах, открывая возможности для широкого спектра приложений.