Выборка как разум: возможности базовой модели.

В эпоху стремительного развития больших языковых моделей возникает парадоксальное противоречие: несмотря на впечатляющие масштабы и возможности, они часто демонстрируют неустойчивость в решении сложных задач, требующих последовательного рассуждения. В своей работе “Reasoning with Sampling: Your Base Model is Smarter Than You Think”, авторы смело утверждают, что проблема заключается не в отсутствии способностей у базовой модели, а в неэффективности методов их извлечения, в частности, в чрезмерной зависимости от вероятности последовательности токенов. Если существующие подходы фокусируются на поиске наиболее вероятного пути, упуская из виду потенциально верные, но менее очевидные решения, то не означает ли это, что мы недооцениваем скрытый интеллект, уже заложенный в архитектуре базовой модели, и что истинный прорыв в рассуждениях лежит в более тонком и осмысленном способе “вытягивания” знаний, а не в их постоянном наращивании?




