Денис Аветисян

Самообучение стремится к нормальности: как InfoNCE формирует представления

от

В процессе обучения двуслойной MLP на наборе данных CIFAR-10 с использованием InfoNCE наблюдается увеличение гауссовости представления данных, что проявляется в снижении коэффициента вариации норм представлений (указано в уравнении [latex]Eq.20[/latex]), уменьшении статистики асимметрии из не-гауссовых значений в нормальный диапазон и устойчивом росте доли координат, успешно проходящих тест DP на нормальность.

Новое исследование показывает, что контрастивное обучение с использованием функции потерь InfoNCE приводит к формированию представлений, близких к гауссовскому распределению в высоких измерениях.

Квантовые связи на чипе: платформа для управления фотонами

от

Новая нанофотонная платформа позволяет эффективно взаимодействовать и запутывать квантовые излучатели, открывая путь к созданию масштабируемых квантовых устройств.

Искусственный интеллект: курс на сверхчеловеческую адаптивность

от

Представленная систематизация определений общего искусственного интеллекта (AGI) и смежных концепций демонстрирует, что ключевые подходы к созданию ИИ различаются по двум основным параметрам: источнику интеллекта - от производительности и выполнения задач к обучению и адаптивности - и сфере применения - от универсальных, неограниченных областей до задач, ориентированных на человека и экономику, выделяя кластеры адаптивных генералистов, когнитивных зеркал и экономических двигателей, при этом сверхчеловеческий адаптивный интеллект (SAI) относится к ИИ, способному к адаптации и выполнению любых значимых задач как внутри, так и за пределами человеческой сферы.

Новая статья предлагает отказаться от идеи создания универсального искусственного интеллекта, подобного человеческому, и сосредоточиться на развитии систем, способных к молниеносной адаптации к любым задачам.

Ускорение генерации текста: новый подход к спекулятивному декодированию

от

При подгонке гауссовской смеси одним гауссианом, различные целевые функции демонстрируют принципиально разное поведение: в то время как расхождение Кульбака-Лейблера стремится к покрытию всей массы распределения (α=50.2%), обратное расхождение Кульбака-Лейблера проявляет тенденцию к поиску отдельных мод (α=50.8%), а максимизация общей вариации [latex]\operatorname{TV}[/latex] обеспечивает максимальное перекрытие распределений (α=60.2%), подчеркивая, что выбор целевой функции оказывает решающее влияние на конечный результат и характеристики модели.

Исследователи предлагают новый метод оптимизации скорости работы языковых моделей, основанный на прямом контроле вероятности принятия предложений.

Квантовый Чикаго: Реальность или Хайп?

от

Квантовый Чикаго: Реальность или Хайп? Интересно, мы строим квантовые компьютеры, чтобы решать проблемы, или просто чтобы доказать, что можем? Похоже, в Чикаго решили ответить на этот вопрос делом. Представьте себе, что вы пытаетесь поймать светлячка в банке. Это примерно то же самое, что квантовый компьютер – пытаешься контролировать поведение мельчайших частиц. Только вместо светлячка – … Читать далее

Восстановление изображений стало быстрее: новый подход к динамике скрытых признаков

от

Траектории генерации, полученные с использованием модели MIGM с изменением случайной начальной точки на промежуточных этапах, демонстрируют вариативность, обусловленную случайностью при выборе токенов, в то время как непрерывная диффузия с использованием ODE-семплинга, напротив, обеспечивает воспроизводимость траекторий из одной и той же начальной точки, исключая случайность на промежуточных шагах.

Исследователи разработали метод, значительно ускоряющий процесс генерации изображений по маске, сохраняя при этом высокое качество результата.