生成AIを社内業務に取り込む方法として、RAG（Retrieval-Augmented Generation）はもはやスタンダードな選択肢となりました。一方、PoCではうまく動いたのに本番環境でハルシネーションが多発する、応答が遅くてユーザーが定着しないといった課題で悩まれている企業も少なくありません。

パターン1: ハイブリッド検索の採用

ベクトル検索のみだと固有名詞・型番・略称に弱いという欠点があります。BM25や全文検索とのハイブリッド構成にし、Reciprocal Rank Fusionでスコアを統合することで、retrieval精度が大きく改善します。

パターン2: 階層的チャンキング

機械的な文字数チャンクではなく、文書構造（H1/H2/段落）を尊重したチャンキングが重要です。Markdownヘッダーをメタデータとして保持し、検索時にコンテキストを再構成することで、回答の根拠提示も容易になります。

パターン3: 評価データセットの整備

RAGの改善はオフライン評価なしには進みません。Recall@5、MRR、faithfulness、answer relevancyの4指標で定期的に計測し、回帰検知できる体制を最初から作りましょう。

パターン4: ガードレールの多層化

入力フィルタ（PII検出）、出力フィルタ（機密キーワード検知）、生成後検証（fact-checking LLM）の3層で防御することで、エンタープライズ要件を満たせます。

パターン5: フィードバックループの設計

親指評価・自由記述コメントを蓄積し、低評価のクエリを優先的に改善する仕組みを最初から組み込んでおくべきです。当社ではEvidently AIやLangSmithを活用しています。

本記事で挙げた5パターンは、いずれも当社が複数のエンタープライズ案件で実装し効果を確認したものです。詳しい実装はぜひお問い合わせください。