Разумный поиск: как нейросети учатся планировать свои действия

Использование готовых языковых моделей может приводить к различным стратегиям скрытого рассуждения, в то время как существующие методы стремятся имитировать одну из них, что приводит к неоптимальным результатам; предложенный метод ATP-Latent активно оптимизирует эти стратегии в четко определенном пространстве, используя как проверяемую точность ответов, так и связность декодированных цепочек рассуждений в качестве вознаграждений.

Новый подход позволяет большим языковым моделям не просто имитировать поведение, а активно планировать свои действия в скрытом пространстве, повышая точность и эффективность.

Искусственный интеллект в университете: кто за кого работу делает?

Новое исследование показывает, что преподаватели и студенты по-разному оценивают степень использования ИИ друг другом, что может привести к недопониманию и снижению доверия.

Разум без обучения: Новая стратегия эффективного мышления для больших языковых моделей

В исследовании производительности моделей на задачах, выходящих за рамки обучающей выборки, наблюдается, что алгоритм GRPO демонстрирует сопоставимое масштабирование с базовой моделью на HumanEval, однако на GPQA, несмотря на улучшение метрики pass@1, его способность к масштабированию ослабевает, что указывает на снижение разнообразия генерируемых решений, в то время как методы power sampling, включая предложенный, не только повышают pass@1, но и сохраняют сильное масштабирование метрики pass@k.

Исследователи предлагают метод, позволяющий достичь сопоставимой с обучением с подкреплением способности к рассуждениям у крупных языковых моделей, используя оптимизированный алгоритм выборки.

Языковые модели: от магии к пониманию

Новое исследование показывает, что самостоятельное обучение небольшой языковой модели позволяет студентам глубже понять принципы её работы и отказаться от антропоморфных представлений об искусственном интеллекте.

Обучение языковых моделей без учителя: новый подход к выравниванию

Исследователи предлагают метод обучения больших языковых моделей, основанный на оценках качества, а не на размеченных данных, что открывает новые возможности для контроля над их поведением.

Невидимые изменения: Анализ вклада ИИ в код

Воздействие стратегий принятия решений агентами искусственного интеллекта (SPR) на уязвимости систем безопасности демонстрирует, что изменение этих стратегий может как усугубить, так и смягчить риски, связанные с потенциальными брешами в защите.

Исследование показывает, что автоматические исправления кода, предлагаемые искусственным интеллектом, часто усложняют кодовую базу и приводят к новым ошибкам, но принимаются с той же частотой, что и отклоненные правки.

Гиперсвязи с ограничениями: Новый подход к эффективности больших языковых моделей

Исследование предлагает три подхода к построению гиперсвязей с ограничениями на многообразия, где [latex]mHC[/latex] использует итеративный алгоритм Зинкорна-Кноппа для аппроксимации дважды стохастической остаточной матрицы, [latex]mHC-lite[/latex] строит ее как выпуклые комбинации перестановочных матриц, но становится непрактичным при больших [latex]n[/latex], а предложенный [latex]KromHC[/latex] конструирует остаточную матрицу как произведения Кронекера меньших дважды стохастических матриц, гарантируя двойную стохастичность при сохранении параметрической эффективности.

В статье представлена инновационная архитектура гиперсвязей, использующая ограничения на многообразия и тензорные сети для повышения стабильности обучения и снижения вычислительных затрат.

Искусственный интеллект на службе водородной энергетики: поиск новых материалов для хранения

Предложенный метод позволяет выявлять новые материалы для хранения водорода, используя оптимизированный рабочий процесс, направленный на поиск и анализ перспективных кандидатов.

Новый подход, объединяющий машинное обучение и причинно-следственный анализ, позволяет создавать перспективные металлические гидриды с улучшенными характеристиками для эффективного накопления водорода.

Оттачивая интеллект: как фильтрация данных влияет на возможности языковых моделей

По мере увеличения масштаба моделей-трансформеров, фильтрация данных на уровне токенов становится всё более эффективной, при этом для моделей с 1,8 миллиарда параметров, обученных на отфильтрованных данных, наблюдается семикратное замедление вычислений в медицинской области, что демонстрирует пропорциональную зависимость требуемых вычислительных ресурсов от размера модели и эффективности фильтрации.

Новое исследование показывает, что тонкая настройка данных на уровне токенов во время предварительного обучения позволяет целенаправленно формировать возможности языковых моделей, повышая их надежность и соответствие ожиданиям.