Difyで社内文書RAGを作るとき、精度を左右するのはモデル名より前の設計です。2026年8月時点のDify公式ドキュメントでは、知識ベース側でインデックス方式・メタデータ・検索設定を管理し、アプリ側ではKnowledge Retrievalノードで追加の絞り込みやrerankを重ねる流れが明確になっています。最初に検索対象、更新頻度、評価方法を決めておかないと、PoCは動いても運用で崩れます。
この記事では、社内文書RAGを導入する前に決めておきたい5つの論点を、Difyの最新Knowledge機能に合わせて整理します。構成はそのままに、2026年の運用前提へ引き直して読めるチェックリストにしました。
1. まず決めるべきは検索対象の境界
最初に整理したいのは『このチャットは、どの文書を根拠に答えるのか』です。就業規則、営業資料、議事録、製品仕様、障害報告を全部まとめて入れると、検索意図が衝突しやすくなります。人事問い合わせ向けなら規程・申請フロー・FAQ、営業向けなら提案書・価格表・事例、サポート向けなら手順書・既知障害・更新履歴というように、利用ジョブごとに最初から分ける方が安全です。
DifyのKnowledgeドキュメントでは、知識ベースに文書を追加した後も、ドキュメントやチャンクを管理しながら精度を調整できること、さらにメタデータを付けてfilter-based searchを強化できることが示されています。部門、公開範囲、製品名、版数、更新責任者といった軸を先に決めておくと、後で『何が混ざっているのか』を説明しやすくなります。
2. 更新頻度に合わせて chunk 設計を決める
2026年のDifyでは、知識ベースを作ったあとも文書やチャンクを継続的に管理できますが、更新しやすい粒度で入れておかないと保守が重くなります。毎週変わるFAQや運用ルールは、章や手順単位で差し替えやすい構成にするべきです。一方で規程や用語集のようにまとまって参照される文書は、細かく割りすぎると前後関係が切れて逆に取りこぼしが増えます。
DifyのKnowledge周辺では、親子検索、ハイブリッド検索、引用付きの返答設計まで選べるようになっているため、『後から精度改善する余地』と『日々の更新作業のしやすさ』を両立させることが重要です。月次改定のマニュアルなら章単位、日次更新の通知なら1トピック単位、製品仕様書なら見出し単位など、差し替え頻度から逆算してchunk方針を決めると失敗しにくくなります。
3. Index method と retrieval は二層で考える
今のDifyでは、検索設定は知識ベース側とKnowledge Retrievalノード側の二層で効きます。公式ドキュメントでも、この二層は『連続する2つのフィルター』として説明されています。知識ベース側で初期候補を決め、ノード側でweighted scoreやrerank modelを使って並び替えるイメージです。つまり、検索が弱いときに全部をノード側で解決しようとせず、どの層で何を効かせるかを切り分ける必要があります。
略語や製品名の完全一致が大事な社内検索では、keyword寄りの発想が必要です。逆に質問文の言い換えが多いヘルプデスクでは、semantic寄りの比重を上げた方が当たりやすいことがあります。複数知識ベースを同時に検索するなら、メタデータで候補集合を狭めたうえでrerankを使う設計にすると、不要な文書が上位に混ざりにくくなります。
4. 評価指標は『答えられたか』より『根拠を返せたか』
DifyのRetrieval Testingページでは、ユーザー質問を模擬しながら取得結果を試せます。しかも公式ドキュメント上、ここで変えた設定は現在のテストセッションだけに適用され、常設設定を壊しません。社内文書RAGの評価では、この『安全に試せる』性質を活かして、質問セットを固定し、TopKや重み、メタデータ条件を比較する運用が有効です。
見るべき指標は正答率だけではありません。最低でも、必要な文書が上位に出るか、古い版が混ざらないか、返答に引用元を付けられるか、改善前後でどの設定が効いたか、の4点を記録したいところです。DifyではRecordsにテスト時と本番時の取得イベントが残るため、『本番で外した質問』を後から評価セットに戻す流れも作れます。
5. 運用前チェックリスト：この3つが未定なら急がない
公開前に最低限決めたいのは、1) 検索対象の責任者、2) 更新タイミング、3) 評価担当です。責任者が曖昧だと古い資料が残り、更新タイミングが未定だと最新性が崩れ、評価担当がいないと精度改善が止まります。ツール選定より先にこの3点を決めるだけで、PoCの成功率はかなり変わります。
AI・Claude研修のご相談は /contact/ へ。RAG導入前の要件整理、検索評価設計、社内展開の壁打ちまで支援できます。
