Денис Аветисян

Знания в графах: как улучшить ответы больших языковых моделей

от

Несмотря на то, что расширение извлекаемого подграфа для SubgraphRAG закономерно повышает полноту релевантных фактов и узлов, точность предсказаний (EM Hits) в конечном итоге стабилизируется из-за добавления избыточной информации, при этом обучение на подграфах с истинными ответами демонстрирует более высокие результаты, чем обучение на кратчайших путях триплетов.

Новый подход к генерации синтетических данных позволяет создавать более точные и надежные знания для обучения и оценки языковых моделей, использующих графы знаний.

Архитектор-пилот: Автоматизированный поиск оптимальных нейронных сетей

от

Архитектура ArchPilot осуществляет автоматизированный поиск оптимальных обучающих скриптов посредством координации агента оркестровки, использующего метод Монте-Карло для выбора перспективных решений, агента генерации, ответственного за разработку и отладку этих скриптов, и агента оценки, проводящего тестирование и предоставляющего количественные метрики для оценки эффективности каждого решения.

Новый подход к поиску архитектур нейронных сетей, использующий взаимодействие нескольких агентов для повышения эффективности и снижения вычислительных затрат.

Призрачная уверенность: почему языковые модели ошибаются даже тогда, когда уверены

от

При отсутствии неопределённости в данных, глубинная структура многослойного перцептрона демонстрирует способность к удовлетворительной ранжировке, однако при наличии даже незначительной неоднозначности эта способность резко снижается, указывая на то, что скрытые состояния не надёжно кодируют информацию об этой неоднозначности.

Новое исследование показывает, что существующие методы оценки неопределенности больших языковых моделей оказываются неэффективными при работе с неоднозначными вопросами.

Идентификация людей: новый взгляд на походку и кросс-модальное обучение

от

Существующие методы распознавания людей по походке, полагающиеся на анализ изображений, часто страдают от неточных сегментаций и игнорирования динамики движения, в то время как DinoGRL использует мощные визуальные представления для создания чётких силуэтов, позволяющих интегрировать характеристики походки и внешности для достижения надёжной и устойчивой к различным условиям идентификации.

Предложенный метод объединяет визуальные и инфракрасные данные, используя особенности походки для повышения точности идентификации людей в видеопотоке.

Ошибка в оценках: Как точно настроить алгоритмы стохастического градиентного спуска

от

На графике, отображающем зависимость ошибки выборки от размера шага для алгоритмов SG-UBU, SVRG-UBU и SAGA-UBU при различных количествах компонент (10, 50, 100, 500), наблюдается закономерность, указывающая на то, что уменьшение размера шага приводит к снижению ошибки, при этом влияние этого параметра проявляется схожим образом для всех исследуемых алгоритмов и независимо от количества компонент.

Новое исследование раскрывает фазовый переход в скорости сходимости алгоритмов, использующих уменьшение дисперсии, и предлагает критерии для оптимального выбора метода.