社内AIナレッジ検索は、承認された資料から限られた種類の質問に答え、根拠を示す試験から始めましょう。RAGは、検索した資料を使ってAIが回答を組み立てる方式です。資料の欠落、古さ、閲覧制限を自動的に解決するものではありません。
一つの質問領域に絞る
現行の製品仕様を調べる、承認済みの社内手順を確認するなど、用途を限定します。利用者と、その回答で行う判断を明確にしてください。最初から全共有フォルダーを対象にすると、確認すべき範囲が曖昧になります。
実際の質問、言い換え、答えが存在しない質問を集めます。期待する資料、重要な事実、利用者権限を記録し、一部は調整に使わない評価用として残します。
文書ごとに責任者を置く
保管場所、責任者、版、有効日、見直し日、閲覧権限を管理します。文書の差し替えや削除を検索対象へ反映する方法も必要です。古い手順を自信ありげに答えるより、根拠がないと伝える方が適切な場合があります。
例えばサポート資料なら、現在有効な返品手順と過去の草案を区別します。承認済み資料を優先し、参照先で文書の状態を確認できるようにします。
回答生成の前に権限を適用する
検索段階で、利用者が閲覧できる資料だけを取得します。「秘密を答えない」というAIへの指示だけに頼らないでください。Microsoftの文書単位のアクセス制御資料は、検索アプリケーションでの権限制御を説明しています。
権限の異なる利用者、権限取り消し後、会話共有時を試験します。回答本文だけでなく、キャッシュ、ログ、引用先も確認します。取得文書は情報として扱い、権限変更や操作実行を命じる指示として扱わない設計にします。
検索と回答を分けて評価する
- 検索：正しい現行文書を見つけたか。
- 回答：重要な記述に資料上の根拠があるか。
- 引用：その利用者が根拠箇所を開けるか。
- 不明時：根拠がなければ回答を控えるか、確認を求めるか。
- 運用：想定利用量で応答時間と費用を許容できるか。
難しい質問は業務担当者が確認します。文章が自然でも、古い規程に基づく回答なら不合格です。
展開する基準を先に決める
試験前に合格条件を合意し、失敗した質問、権限外の取得、古い資料の混入を記録します。改善の担当者を決め、モデル、指示文、文書処理、権限を変えた後は再評価します。