Знания в графах: как улучшить ответы больших языковых моделей

Автор: Денис Аветисян

Новый подход к генерации синтетических данных позволяет создавать более точные и надежные знания для обучения и оценки языковых моделей, использующих графы знаний.

Несмотря на то, что расширение извлекаемого подграфа для SubgraphRAG закономерно повышает полноту релевантных фактов и узлов, точность предсказаний (EM Hits) в конечном итоге стабилизируется из-за добавления избыточной информации, при этом обучение на подграфах с истинными ответами демонстрирует более высокие результаты, чем обучение на кратчайших путях триплетов.

Исследователи предлагают фреймворк SynthKGQA и набор данных GTSQA для создания синтетических данных KGQA с использованием подграфов, что значительно улучшает производительность систем извлечения знаний.

Несмотря на перспективность использования графовых баз знаний для повышения достоверности больших языковых моделей (LLM), объективное сравнение различных методов затруднено из-за отсутствия сложных наборов данных для вопросов и ответов с четко определенными графовыми подграфами-основаниями. В работе ‘Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs’ представлен фреймворк SynthKGQA для генерации синтетических наборов данных KGQA высокого качества, предоставляющих полный набор фактических данных из графа знаний для рассуждений по каждому вопросу. Показано, что обучение извлечению графовых подграфов с использованием SynthKGQA значительно улучшает производительность моделей по сравнению с использованием кратчайших путей. Каковы дальнейшие перспективы использования синтетических данных для развития и оценки систем, объединяющих LLM и графовые базы знаний?

Ограничения Масштаба: Графы Знаний и Фактическая Согласованность

Крупные языковые модели, несмотря на вычислительную мощность, демонстрируют ограниченную фактическую согласованность из-за природы параметрических знаний. Они склонны к генерации правдоподобных, но не всегда достоверных утверждений, что снижает доверие к ответам. Простое добавление данных не решает проблему, поскольку модели продолжают «галлюцинировать».

SynthKGQA выполняет последовательность шагов для генерации вопросов и проверки истинности подграфов на основе произвольного графа знаний.

Графы знаний предлагают структурированную альтернативу, кодируя факты и обеспечивая верифицируемое рассуждение. В отличие от неявных знаний в параметрах модели, графы знаний позволяют отслеживать происхождение информации и проверять ее истинность, что критически важно для надежных приложений. Каждая «революционная» технология завтра станет техдолгом.

Соединяя Разрозненное: KG-RAG для Улучшенного Рассуждения

Модели генерации с расширенным извлечением (RAG) объединяют большие языковые модели (LLM) с внешним извлечением знаний. Эффективность таких систем зависит от оптимизации извлечения знаний из графов знаний (KG). Традиционные методы часто сталкиваются с трудностями при поиске релевантной информации в сложных запросах.

Усовершенствованные подходы, такие как RoG, GCR и SR, направлены на улучшение KG-RAG, фокусируясь на предсказании реляционных путей между сущностями для выявления релевантного контекста. Основная цель – переход от поверхностной релевантности к выявлению значимых подграфов.

Модели KG-RAG демонстрируют различную точность восстановления троек в истинных подграфах ответов в зависимости от типа изоморфизма графа.

Различные модели KG-RAG демонстрируют разную точность восстановления троек, что указывает на необходимость разработки надежных и универсальных методов оценки релевантности подграфов.

GTSQA: Новый Эталон для Оценки KG-RAG

Существующие наборы данных, такие как WebQSP, GrailQA и CWQ, имеют ограничения в оценке обобщающей способности и сложных рассуждений систем ответа на вопросы, основанных на графах знаний. Это затрудняет надежную оценку прогресса в области извлечения знаний.

SynthKGQA – фреймворк для генерации синтетических наборов данных для задачи ответа на вопросы, основанные на графах знаний, обеспечивающий контролируемые условия для экспериментов. GTSQA, сгенерированный с использованием SynthKGQA, представляет собой сложный эталон, использующий Wikidata и содержащий более 30 000 вопросов.

Статистический анализ показывает различия в количестве начальных сущностей, количестве сущностей-ответов в Wikidata и максимальном количестве переходов от начальных к конечным сущностям в обучающем и тестовом наборах данных GTSQA.

Оценка с использованием GTSQA требует не только сопоставления по кратчайшему пути, но и понимания структуры подграфов, поскольку только 13% путей совпадают с эталонными данными.

За Пределами Точности: Обобщение и Надежность в Рассуждениях с KG

Оценка моделей с использованием GTSQA, наряду с методами PoG и ToG, подчеркивает важность способности к обобщению в условиях отсутствия предварительного обучения. Обучение моделей на подграфах, соответствующих истинным фактам, демонстрирует увеличение точности извлечения знаний до 30%.

Применение GPT-4o-mini для валидации обеспечивает надежную оценку фактической корректности и качества рассуждений. Расширение границ возможностей моделей KG-RAG позволяет создавать более надежные системы искусственного интеллекта. Более глубокое понимание структуры подграфов, основанное на оценке GTSQA, способствует разработке эффективных алгоритмов рассуждений. Каждая «революционная» технология рано или поздно превратится в технический долг.

Обучаемые модели KG-RAG демонстрируют различные способности к обобщению в зависимости от типа изоморфизма графа, при этом производительность EM измеряется как разница с производительностью базовой модели (GPT-4o-mini, без RAG).

Исследование демонстрирует, что даже самые изящные архитектуры, вроде Retrieval Augmented Generation, не застрахованы от необходимости в качественных данных. Авторы предлагают подход, основанный на синтетических данных с четко определенными подграфами, что позволяет улучшить производительность KG retrievers. В этом нет ничего удивительного. Как говорил Андрей Колмогоров: «Математика – это искусство невозможного, которое становится возможным». Подобно тому, как математик находит решение сложной задачи, исследователи предлагают способ обойти ограничения существующих методов, создавая синтетические данные, которые позволяют моделям лучше понимать связи в графах знаний. В конечном счете, все сводится к тому, чтобы предоставить алгоритму правильные инструменты для работы, а не надеяться на чудо.

Что дальше?

Представленный подход к синтезу данных для Knowledge Graph Question Answering, безусловно, элегантен. Однако, как показывает опыт, элегантность в машинном обучении – это лишь отсрочка неизбежного. Создание «идеальных» синтетических подграфов – задача, обречённая на усложнение по мере роста графов знаний. Продакшен всегда найдёт способ завалить даже самый тщательно спроектированный алгоритм поиска. И да, идея с использованием подграфов вместо банальных кратчайших путей – прогресс, но стоит помнить: сложнее не всегда означает лучше. Часто это просто означает «больше работы для отладки».

Очевидным следующим шагом является исследование устойчивости этих синтетических данных к adversarial атакам. Ведь рано или поздно кто-нибудь попытается обмануть систему, используя специально сконструированные запросы. И, вероятно, у них получится. Кроме того, интересно, как предложенный подход масштабируется до графов знаний, которые действительно используются в реальных приложениях – тех самых, где данные неаккуратны, неполны и противоречивы. В конце концов, всё новое – это старое, только с другим именем и теми же багами.

В конечном итоге, стоит задаться вопросом: действительно ли мы пытаемся решить правильную проблему? Может быть, вместо того, чтобы усложнять алгоритмы поиска, стоит подумать о более надёжных способах представления знаний? Но это уже, пожалуй, философский вопрос, на который у продакшена, конечно же, найдётся свой ответ. И он, скорее всего, будет неприятным.

Оригинал статьи: https://arxiv.org/pdf/2511.04473.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-10 00:02

🚀 Квантовые новости