Денис Аветисян

Интеллектуальный анализ знаний: ускорение работы графовых нейронных сетей

от

KG-WISE организует обучение и вывод для больших графов знаний, используя извлечение подграфов под управлением больших языковых моделей, детальное хранение моделей и инстанцирование моделей с учетом запроса.

Новая система KG-WISE использует возможности больших языковых моделей для выделения релевантных подграфов и оптимизации работы с большими графами знаний.

Сверхпроводящий нейрон: новый шаг к энергоэффективным вычислениям

от

Ученые разработали программируемый сверхпроводящий нейрон, способный к вычислениям непосредственно в памяти и адаптации к сигналам в двух временных масштабах.

Контекст без границ: новая архитектура для больших языковых моделей

от

Архитектура SharedLLM, подобная общей схеме кодировщика-декодировщика, как в T5 (Raffel et al., 2020), обеспечивает взаимодействие на первом уровне MM посредством общих ключей-значений, которые кодируются и сжимаются из текстового фрагмента в последовательность деревьев.

Исследователи предлагают инновационный подход к расширению контекстного окна больших языковых моделей, позволяющий обрабатывать значительно больший объем информации.

Долгая память нейросетей: как сохранить контекст без потерь

от

Для оптимизации обработки длинных последовательностей, система предварительно загружает фрагменты контекста, используя локальные RoPE, а затем, при выводе, восстанавливает глобальные позиции RoPE и применяет нормализацию внимания, чтобы выделить наиболее важные токены для пересчета KV-состояний с полным контекстом; полученные KV-состояния объединяются с кэшированными фрагментами, восстанавливая взаимодействия между ними, причём дополнительная перестановка фрагментов позволяет разместить наиболее информативные ближе к запросу.

Новое исследование предлагает эффективный способ обработки длинных последовательностей данных в задачах генерации, позволяя нейросетям лучше понимать и запоминать информацию.

Термодинамика под контролем: ИИ-помощник для обучения и преподавания

от

Новая разработка предоставляет студентам и преподавателям инструменты на базе искусственного интеллекта для углубленного изучения и эффективного преподавания термодинамики в химической инженерии.

Температура информации: новый взгляд на языковые модели

от

Функция корреляции [latex]K(r)[/latex] аддитивной марковской цепи, построенной с использованием функции памяти [latex]F(r)[/latex] (вставлена на рисунке) при длине памяти [latex]r = N = 10[/latex] и параметрах [latex]\overline{a} = 1/2[/latex] и [latex]F\_0 = 0.15[/latex], демонстрирует соответствие между численным решением уравнения (9) и вычислениями, выполненными непосредственно по определению (8) для генерации числовой последовательности с CPDF (7), подтверждая корректность используемого подхода.

Исследование предлагает теоретическую основу для измерения ‘температуры информации’ в цепях Маркова, что может помочь понять, как большие языковые модели избегают проблемы экспоненциального роста сложности.

Всевидящее око и нейросети: готовы ли мультимодальные модели к задачам видеонаблюдения?

от

В предлагаемой системе обнаружения аномалий в видеопотоке, необработанные видеоданные преобразуются в сегментированные фрагменты, которые затем анализируются мультимодальными моделями с использованием различных запросов, что позволяет получить классификацию, непосредственно сопоставимую с эталонными данными на уровне всего видео.

Новое исследование проверяет возможности современных искусственных интеллектов в обнаружении аномалий на видео, выявляя ограничения и необходимые условия для их эффективного применения в системах безопасности.

Сверхпроводимость в ультратонких плёнках MoTe₂: новый взгляд на механизм спаривания

от

Исследование показывает, что сверхпроводимость в двумерном дисульфиде молибдена (MoTe₂) может быть объяснена традиционным s(++)-волновым спариванием, особенно в области, обогащенной дырками.