Числовые тени в языковых моделях: как скрытые связи влияют на понимание

Анализ корреляции слоёв в моделях Qwen2.5-3B и Llama 3.1 70B демонстрирует, что степень соответствия атрибутов (оранжевый) и степень их загрязнения (зелёный) тесно связаны с корреляцией между предсказанными и фактическими значениями (синий) для пар признаков, связанных с годом рождения/началом работы и областью/населением.

Исследование показывает, что большие языковые модели могут смешивать информацию о различных числовых характеристиках, приводя к непредсказуемым результатам.

Рассуждения ИИ в таблицах: Новый вызов для больших языковых моделей

Существующие наборы данных для анализа таблиц зачастую ограничены в своей применимости к реальным, разнородным информационным системам, в то время как RUST-BENCH объединяет данные, охватывающие сразу несколько аспектов сложности – специфичность предметной области, длину таблиц, полуструктурированность и сложность запросов – что позволяет более адекватно оценивать и разрабатывать решения для практических задач.

Исследование демонстрирует, насколько сложно для современных систем искусственного интеллекта эффективно анализировать и делать выводы на основе данных, представленных в виде таблиц с неструктурированным текстом.

Познай Себя: Разговорчивый помощник для понимания языковых моделей

Конвейер KnowThyselff обеспечивает точную атрибуцию токенов и оценку предвзятости, что демонстрируется на двух примерах, подтверждающих математическую чистоту и доказуемость алгоритма.

Новая платформа делает интерпретацию сложных нейросетей более доступной благодаря интерактивным визуализациям и объяснениям на естественном языке.

Самообучающаяся система для ускорения обучения гигантских нейросетей

Основанный на принципах агентности, фреймворк ASAP позволяет оптимизировать производительность системы, рассматривая её не как статичную конструкцию, а как развивающуюся экосистему, где каждый компонент влияет на общую устойчивость и адаптивность.

Новый подход к автоматической оптимизации стратегий распределения данных позволяет значительно повысить эффективность обучения масштабных языковых моделей.

Автоматическая параллелизация кода: куда ведут нас нейросети?

Исследование показывает, что применение искусственного интеллекта для автоматической распараллелизации кода не всегда стабильно и требует новых методов оценки качества.

Чиплеты и свет: Новый подход к ускорению больших языковых моделей

Архитектура PICNIC объединяет вычислительные макросы, межсоединения и набор инструкций в единую систему, оптимизированную для эффективной обработки данных и выполнения задач.

Исследователи представляют систему, объединяющую передовые чиплеты, кремниевую фотонику и вычисления в памяти для значительного повышения производительности и энергоэффективности при работе с масштабными моделями машинного обучения.

Проверка на прочность: Инструменты для оценки надежности больших языковых моделей

AdversariaLLM представляет собой основу, позволяющую проводить воспроизводимую и принципиальную оценку устойчивости больших языковых моделей к враждебным воздействиям, намекая на то, что надежность таких систем не строится, а культивируется посредством строгого тестирования.

Новый набор инструментов призван обеспечить более строгие стандарты оценки устойчивости больших языковых моделей к различным атакам и манипуляциям.

Ускорение работы больших языковых моделей: новый подход к разреженности

Применение инновационной схемы с зигзагообразным расположением и сбалансированным ядром позволило добиться ускорения разреженного умножения матриц на векторы (GEMV) на 1,51–1,78 раза для моделей Llama-3-8B, Llama-2-13B и Llama-2-70B, преодолев значительное замедление, вызванное ветвлением в наивных реализациях, и обеспечив умеренное улучшение по сравнению с другими оптимизациями.

Исследование предлагает инновационный метод повышения эффективности вычислений в нейронных сетях за счет динамического использования разреженности данных.