Денис Аветисян

Долгая память нейросетей: как сохранить контекст без потерь

от

Для оптимизации обработки длинных последовательностей, система предварительно загружает фрагменты контекста, используя локальные RoPE, а затем, при выводе, восстанавливает глобальные позиции RoPE и применяет нормализацию внимания, чтобы выделить наиболее важные токены для пересчета KV-состояний с полным контекстом; полученные KV-состояния объединяются с кэшированными фрагментами, восстанавливая взаимодействия между ними, причём дополнительная перестановка фрагментов позволяет разместить наиболее информативные ближе к запросу.

Новое исследование предлагает эффективный способ обработки длинных последовательностей данных в задачах генерации, позволяя нейросетям лучше понимать и запоминать информацию.

Всевидящее око и нейросети: готовы ли мультимодальные модели к задачам видеонаблюдения?

от

В предлагаемой системе обнаружения аномалий в видеопотоке, необработанные видеоданные преобразуются в сегментированные фрагменты, которые затем анализируются мультимодальными моделями с использованием различных запросов, что позволяет получить классификацию, непосредственно сопоставимую с эталонными данными на уровне всего видео.

Новое исследование проверяет возможности современных искусственных интеллектов в обнаружении аномалий на видео, выявляя ограничения и необходимые условия для их эффективного применения в системах безопасности.

Сверхпроводимость в ультратонких плёнках MoTe₂: новый взгляд на механизм спаривания

от

Исследование показывает, что сверхпроводимость в двумерном дисульфиде молибдена (MoTe₂) может быть объяснена традиционным s(++)-волновым спариванием, особенно в области, обогащенной дырками.

Диагностика заболеваний печени: новый подход с использованием искусственного интеллекта

от

Система MedCoRAG, объединяя извлечение аномальных данных из клинических записей, гибридный поиск релевантной информации из клинических рекомендаций и графов знаний UMLS, а также многоагентный подход к рассуждениям с участием маршрутизирующего и специализированных агентов, обеспечивает формирование интерпретируемого диагноза, адаптируясь к сложности случая и при необходимости инициируя повторный поиск доказательств для достижения консенсуса.

Исследователи предлагают инновационную систему, объединяющую возможности поиска информации и экспертного консенсуса для повышения точности и прозрачности диагностики заболеваний печени.

Квантовый скачок: О будущем химии и ИИ

от

Квантовый скачок: О будущем химии и ИИ Забавно, как мы всегда ищем способы ускорить процессы, обмануть природу. Но что, если ключ к ускорению лежит не в грубой силе, а в тонком понимании её правил? Вот и ученые предлагают использовать квантовые компьютеры для обучения искусственного интеллекта, чтобы тот моделировал химические системы. Это как дать ИИ возможность … Читать далее

Скрытые риски больших моделей: неустойчивость вычислений

от

Динамика обучения четырех мультимодальных моделей - LLaVA-v1.5-7B, Idefics3-8B, SmolVLM2-2.2B-Instruct и Janus-Pro-1B - на наборе данных Numerical-COCO демонстрирует, что оптимизация с использованием контролируемой прокси-потери на MSCOCO коррелирует с накопленной метрикой численной разности, вычисляемой на основе отклонений прямого прохода от эталонного высокоточного решения.

Новое исследование показывает, что большие мультимодальные модели могут быть подвержены неожиданным сбоям из-за незначительных изменений входных данных, что приводит к серьезной деградации производительности.

Память как основа бытия: Архитектура цифровой личности

от

В статье предлагается новый взгляд на организацию памяти в искусственном интеллекте, рассматривающий ее не как функциональный блок, а как онтологическую основу самосознания и непрерывности цифрового существа.

Поиск без границ: модульная платформа для интеллектуального поиска

от

Ключевые состояния хранимых данных SearchGym демонстрируют, как система организует и поддерживает информацию для эффективного поиска, обеспечивая основу для адаптации и оптимизации стратегий исследования.

Новая инфраструктура SearchGym позволяет создавать и оценивать гибридные системы поиска, объединяя различные подходы для достижения оптимального результата.