Dify ищет по удалённым документам как проверить и восстановить базу знаний

Вы удалили старый прайс, загрузили новый, а бот продолжает называть прежние цены. Или после нескольких обновлений базы знаний Dify перестал находить информацию, которая точно есть в документах.

Оба случая могут быть связаны с поиском, но причины бывают разными: история переписки, другая подключённая база, незавершённая обработка документов или оставшиеся объекты в Weaviate. Прежде чем пересобирать индекс, нужно выяснить, откуда приложение получает старый текст.

Ниже — порядок проверки: сначала через интерфейс Dify, затем на сервере. Команды Docker относятся к самостоятельной установке Dify через Docker Compose.

1. Проверьте, действительно ли поиск возвращает удалённый документ

Старый факт в ответе бота ещё не доказывает, что документ остался в поиске. Модель могла получить его из предыдущих сообщений, инструкции приложения или другого источника.

Начните новый диалог в опубликованном приложении и повторите вопрос. Затем откройте соответствующую запись в Logs. Для Chatflow или Workflow посмотрите вход и выход узла Knowledge Retrieval, а также данные, переданные в LLM.

Нужны три вещи: поисковый запрос, найденные фрагменты и их источники. Если перед поиском приложение переформулирует вопрос, проверять следует именно получившийся запрос.

Что обнаружили Что проверять дальше
Поиск вернул фрагмент со старым текстом Идентификаторы базы и документа, дубликаты, содержимое фрагментов и состояние индекса.
Поиск вернул актуальные данные, но ответ содержит старые Историю диалога, инструкции LLM, примеры ответов и другие данные в её контексте.
Поиск ничего не вернул, хотя нужный документ загружен Статус индексации, фильтры, настройки поиска, доступность моделей и Weaviate.

Проверьте все базы, подключённые к приложению. Старый прайс может оставаться во второй базе или в документе с другим названием. Сверяйте идентификаторы источников: одинаковые имена файлов легко вводят в заблуждение.

Если используются Annotation Replies, проверьте сохранённые ответы. При подходящем вопросе Dify может вернуть заранее подготовленный текст. Удаление документа из базы знаний такой ответ не обновляет.

2. Проверьте базу отдельно от чат-бота

Откройте нужную базу знаний и раздел Retrieval Testing. Выполните тот же запрос, который использовало приложение. Смотрите на найденные фрагменты, а не на формулировку итогового ответа бота.

Для сравнения достаточно трёх вопросов:

  • Вопрос по действующему документу, где ответ точно известен.
  • Вопрос по удалённому документу, информация из которого больше нигде не встречается.
  • Тот же вопрос по действующему документу, сформулированный другими словами.

Если действующий документ не находится, сначала проверьте, завершена ли его индексация и включены ли сам документ и нужные фрагменты. Затем сравните настройки теста с настройками приложения: способ поиска, фильтры метаданных, Top K, порог оценки и rerank.

Для диагностики меняйте один параметр за раз. Например, временно уберите фильтр метаданных в тесте и повторите запрос. Если фрагмент появился, проблема связана с условиями отбора. Если поиск завершается ошибкой обращения к embedding-модели, изменение Top K эту ошибку не устранит.

Настройки Retrieval Testing действуют в тестовой сессии. Удачный результат здесь не означает, что опубликованное приложение уже использует те же параметры.

При разбиении Parent-child проверьте и родительский фрагмент. Поиск может находить дочерний фрагмент, а передавать модели родительский. Если изменить только дочерний текст, старые сведения могут оставаться в родительском.

3. Почему удалённые документы могут оставаться в Weaviate

Для некоторых версий Dify описана ошибка удаления объектов Weaviate. В частности, такие отчёты есть для версий 1.16.1 и 1.17.0.

Проблема связана с идентификаторами: объект записывался в Weaviate под одним UUID, а при очистке Dify пытался удалить его по другому идентификатору. Документ исчезал из интерфейса, фоновая задача могла завершиться без ошибки, но часть объектов оставалась в векторной базе.

При этом последствия не обязательно выглядят как выдача удалённого текста. В описанном сценарии Weaviate находил старые объекты, после чего Dify отбрасывал результаты, для которых уже не было записей в основной базе. Эти объекты занимали места среди поисковых кандидатов, поэтому полезных результатов становилось меньше — вплоть до пустой выдачи.

Таким образом, накопившиеся остатки могут объяснять ситуацию «документы есть, а поиск не работает». Но одно совпадение симптомов ещё не подтверждает эту причину.

Изменения механизма удаления уже есть в коде проекта. Для своей установки проверьте, входят ли они в используемый релиз. Также отдельно проверьте старые объекты: обновление приложения само по себе не доказывает, что всё накопившееся ранее уже удалено.

4. Проверьте фоновые задачи и подключения

Если Dify установлен на вашем сервере, перейдите в каталог его Docker Compose. Используйте те же параметры проекта и файлов конфигурации, с которыми запускали установку.

docker compose config --services
docker compose ps -a
docker compose images

Первая команда покажет имена сервисов, вторая — их состояние, третья — используемые образы. Зафиксируйте версии перед обновлениями и повторными импортами.

Для стандартных сервисов api и worker посмотрите сообщения за время возникновения проблемы:

docker compose logs --since 30m --tail 200 api worker

Если Weaviate работает в этом же Compose-проекте под именем weaviate:

docker compose logs --since 30m --tail 200 weaviate

Если событие произошло раньше, увеличьте интервал и количество строк. Ищите сообщения рядом со временем удаления или загрузки проблемного документа.

  • Фоновая задача не выполняется. Проверьте worker, его подключение к очереди и ошибки обработки. Работающий веб-интерфейс не подтверждает, что обработка документов тоже работает.
  • Есть ошибки подключения к Weaviate. Сверьте настройки api и worker: выбранное векторное хранилище, адреса HTTP и gRPC, параметры авторизации. Оба сервиса должны обращаться к нужному экземпляру.
  • Есть ошибки embedding-модели. Проверьте доступность провайдера, ключ и ограничения запросов. Ошибки 401 или 429 при обращении к модели нужно разбирать отдельно от состояния Weaviate.
  • Очистка завершилась успешно, но старые объекты подозреваются. Переходите к проверке самих объектов. Одной записи об успешной задаче недостаточно.

Не очищайте Redis и не удаляйте Docker volumes в качестве универсального способа ремонта. Это не исправляет несовпадение идентификаторов и может затронуть очереди или данные установки.

5. Как проверить, остались ли объекты удалённого документа

Этот шаг нужен администратору при подтверждённом подозрении на остатки в Weaviate. Для проверки потребуются точное имя коллекции нужной базы знаний и идентификатор удалённого документа.

Имя коллекции нужно сопоставить с настройками индекса этой базы в Dify. Оно не обязано совпадать с названием базы в интерфейсе. Идентификатор документа можно заранее сохранить из API или метаданных поискового результата.

В рассматриваемой интеграции используются разные поля:

  • document_id — идентификатор документа Dify;
  • doc_id — идентификатор индексируемого фрагмента;
  • _additional.id — UUID объекта Weaviate.

Не подставляйте одно значение вместо другого.

В GraphQL-клиенте, подключённом к вашему Weaviate, можно выполнить следующий запрос на чтение. Замените YOUR_COLLECTION на проверенное имя коллекции, а DELETED_DOCUMENT_ID — на полный идентификатор удалённого документа. Это GraphQL-запрос, а не команда для терминала.

{
  Get {
    YOUR_COLLECTION(
      where: {
        path: ["document_id"]
        operator: Equal
        valueText: "DELETED_DOCUMENT_ID"
      }
      limit: 5
    ) {
      document_id
      doc_id
      _additional {
        id
      }
    }
  }
}

У найденных объектов сверяйте полное значение document_id. Если документ удалён из Dify, обработка удаления завершилась, а объекты с его идентификатором остались, это подтверждает наличие остатков в проверенной коллекции.

Пустой результат без ошибок говорит только об отсутствии совпадений по этому запросу. Неверная коллекция или неверный идентификатор тоже дадут пустой список.

Общее количество объектов не доказывает повреждение индекса. Один документ разбивается на множество фрагментов; могут использоваться дочерние фрагменты и отдельные объекты для summaries. Сравнение «100 документов в Dify и 5 000 объектов в Weaviate» само по себе ничего не объясняет.

6. Как восстановить базу знаний

Если причина найдена в истории диалога, сохранённом ответе или фильтре, исправляйте её там. Пересборка векторной базы для этого не нужна.

Если подтверждены остатки в индексе, а состав актуальных документов известен, удобнее создать новую базу рядом с существующей и проверить её до переключения приложения.

  1. Сделайте резервную копию установки. Она должна учитывать основную БД Dify, Weaviate, загруженные файлы и конфигурацию. Используйте согласованный способ резервного копирования этих компонентов. Экспорт приложения в DSL не заменяет копию базы знаний.
  2. Подготовьте актуальные исходники. Уберите старые прайсы, дубликаты и документы, которые больше не должны участвовать в ответах.
  3. Создайте новую базу знаний. Для первого сравнения сохраните прежнюю embedding-модель и параметры разбиения. Так будет проще понять, помогла ли именно пересборка.
  4. Загрузите подготовленные документы и дождитесь завершения индексации. Ошибки отдельных файлов нужно устранить до переключения.
  5. Повторите контрольные запросы. Проверьте известные ответы, разные формулировки и вопросы по удалённым сведениям.
  6. Замените базу в приложении. Проверьте все узлы Knowledge Retrieval и подключения в Context. Старую базу нужно убрать из поиска, иначе приложение сможет обращаться к обеим.
  7. Опубликуйте изменения. После этого повторите проверку в новом диалоге опубликованного приложения. Если клиенты обращаются через API, проверьте и этот путь.

На время проверки прежнюю базу можно оставить отключённой от приложения для сравнения и возможного отката. Удалять её стоит после проверки новой базы и решения, какие данные необходимо сохранить.

Пересборка устраняет накопившиеся остатки, но не исправляет ошибку удаления в используемой версии. Поэтому до дальнейших массовых обновлений документов проверьте сам механизм удаления.

Точечная очистка Weaviate тоже возможна, но для неё нужен проверенный список объектов и их связь с документами Dify. Универсальная команда удаления по имени файла здесь не подходит.

7. Проверьте полный цикл: загрузка, поиск, удаление

Для проверки создайте отдельную тестовую базу с двумя небольшими документами. Один оставьте контрольным, второй затем удалите.

В удаляемый документ добавьте вымышленный уникальный факт, например: «Код выдачи учебного набора Маяк-82 — СИРЕНЬ-6083». Сохраните идентификатор документа.

  1. После индексации спросите: «Какой код выдачи у учебного набора Маяк-82?» Убедитесь, что поиск возвращает именно тестовый фрагмент.
  2. Удалите этот документ и дождитесь завершения фоновой обработки.
  3. Повторите поиск. Удалённый фрагмент больше не должен возвращаться.
  4. Проверьте второй документ: его информация должна по-прежнему находиться.
  5. При проверке исправления Weaviate дополнительно убедитесь, что объектов удалённого документа не осталось в соответствующей коллекции.

Последняя проверка нужна потому, что Dify может скрыть оставшиеся объекты на этапе обработки результатов. Отсутствие фрагмента в Retrieval Testing ещё не подтверждает его физическое удаление.

В рабочем приложении отдельно проверьте поведение без подходящих источников. Бот должен сообщать, что в доступных документах нет ответа, если именно такое поведение требуется вашему сервису. Уверенный ответ без источника не является подтверждением исправного поиска.

Частые вопросы

Модель запомнила документ навсегда?

Обычная база знаний Dify работает через поиск фрагментов и передачу их модели в контекст. Загрузка файла сама по себе не означает дообучение модели. При этом старый текст может сохраняться в истории разговора, инструкциях, аннотациях или другом подключённом источнике.

Поможет ли увеличение Top K?

Иногда оно позволяет получить больше полезных кандидатов и помогает диагностике. Но оставшиеся объекты оно не удаляет. Если причина в повреждённом индексе, изменение Top K не заменяет его восстановление.

Нужен ли более мощный VPS?

Дополнительная память полезна, когда её действительно не хватает и процессы завершаются из-за OOM. Ошибку удаления, неверный фильтр или старую базу в настройках приложения увеличение ресурсов не исправит.

Если нужна помощь с Dify на сервере

При самостоятельном размещении Dify нужно следить не только за веб-интерфейсом, но и за фоновыми задачами, хранилищами и восстановлением данных. Для размещения можно рассмотреть VPS Xhost24, подбирая ресурсы под объём индекса, число запросов и способ запуска моделей.

Если установка уже работает, но поиск выдаёт старые сведения или перестал находить документы, можно обратиться по поводу разовой задачи по администрированию. Укажите версию Dify, способ установки, размер базы, пример проблемного запроса и ошибки за время сбоя. Это поможет определить объём диагностики и согласовать работы до изменений на сервере.

  • 0 Usuários acharam útil
Esta resposta lhe foi útil?

Artigos Relacionados

Установка PHP и MySQL на Debian

Типовая ситуация: вы взяли VPS, поставили Debian, но проект стоит, потому что непонятно с чего...

Установка wg-easy на VPS: WireGuard VPN с веб-панелью

wg-easy это самый быстрый способ поднять WireGuard VPN и управлять пользователями через...

Debian 12 to 13: апгрейд без сюрпризов

Debian 12 живёт годами, но в какой-то момент ты упираешься в банальные вещи: нужен свежее стек,...

ssh-keygen RSA на практике

Пароль для SSH это вечная лотерея. Его можно подобрать, украсть, забыть, слить в логах или...

Установка Docker на Ubuntu 24.04

Docker на Ubuntu 24.04 ставят по двум причинам. Первая — быстро поднять сервисы без ручной...