RAGとは？LLM・AIエージェント時代でAI開発の前提知識

生成AIの土台であるLLMは便利な一方で、

企業固有の最新情報には弱く、もっともらしい誤回答を出すことが指摘されています。

では、AIの検索と情報参照の精度を高めるにはどうすればよいのか。

その有力な解決策の一つがRAG（検索拡張生成）で、

LLMに外部データを検索・読み込ませてから回答させる仕組みです。

本記事ではRAGとは何か、その基本的な仕組みとLLM・AIエージェントとの関係を整理し、

今後のAI開発におけるRAGの重要性を具体的に示していきます。

RAGとは？

RAGとは、LLMが回答をつくる前に、外部の情報源から関連データを検索し、必要な部分だけを抜き出してから回答を生成させる仕組みです。モデルの中に知識を「覚えさせておく」のではなく、その場で検索し、拾ってきた情報を土台に文章を組み立てます。

例えば、「このお客様の会社にはこういう特徴があるが、どのような解決策を提案すべきか？」とAIに尋ねたとします。

RAGを組み込んだAIは、まず社内ドキュメントや過去の提案書・事例集の中から情報を検索し、お客様の特徴に関係するデータだけを拾い上げます。そのうえで、拾い上げた情報を踏まえ、その顧客に適したいくつかの解決策案を組み立てて提示します。

「検索」と聞くと、ChatGPT Searchを思い浮かべる方もいるでしょう。

一方で、ChatGPT Searchがインターネット上の公開情報を探しに行くのに対し、RAGは社内のドキュメントやデータベースといった手元の情報を主な対象とする点が、大きな違いです。

「関連記事」：ChatGPTを活用しているのに、まだChatGPT Searchを試していないあなたへ

RAGは内部で何をしているのか？

RAGの基本的な仕組みは、社内の情報を整理してデータベース化し、そのデータを使って質問に答えるという二つのプロセスから成ります。

ステップ1：社内データベースを整える

多様な社内データを集める：過去の案件ポートフォリオやケーススタディ、要件定義書・仕様書、議事録など、プロジェクトごとに散在している情報を一か所に集約します。

クレンジングとチャンク分割を行う：古い版や重複データ、明らかなノイズを整理したうえで、文章をいくつかの短いかたまり（チャンク）に区切っておきます。こうしておくと、後から必要な部分だけをピンポイントで取り出しやすくなります。

埋め込みベクトルを作成し検索ストアに保存する： チャンクごとに「その文章の意味」を表す数値データ（ベクトル）を計算し、ベクトルデータベースなどの検索用ストアに登録します。こうしておくと、似た意味を持つ文章同士が“近い場所”に並ぶようになり、後から「意味ベースの検索」を行ったときの精度が大きく変わります。

ステップ2：質問に答える

質問の意図を理解する： ユーザーから自然文で質問が来たら、そのテキストを解析し、質問の意図をベクトルなどで機械が扱える形に変換します。

関連する情報を検索・抽出する：質問のベクトルと近い位置にあるチャンクをベクトルデータベースから検索し、関連度の高いものを複数ピックアップします。その中から、特に質問に直結しそうな部分だけを抜き出してまとめます。

回答文を組み立てる：「ユーザーの質問」と「抜き出したテキスト」をセットでLLMに渡し、その内容を踏まえて自然な文章として回答を生成します。必要に応じて、元文書名やリンクも添えることで、根拠をたどりやすくできます。

RAGは他のアプローチをどう支えるのか？

LLMやファインチューニングと比べて、RAGがどの部分で力を発揮するのかを整理しておきましょう。

RAGとLLM

LLMは学習時点までのデータをパラメータの中に圧縮しており、「モデルの中にある知識」だけをもとに回答を組み立てます。

そのため、情報の更新に追いつけず、企業ごとの事情を含む専門的な情報には弱く、ハルシネーションを起こしやすく、根拠をうまく示せないといった課題があります。

「関連記事」：YOPAZのセミナー開催「AI・生産性を飛躍的に向上させるゴールデンキー」

「関連記事」：【2025年最新】自然言語処理NLPのトレンドとビジネスへの影響

RAGを組み合わせることで、LLMは学習済みの知識だけに縛られず、企業ごとの事情や最新の変更を踏まえた回答を生成しやすくなります。

あわせて、回答を社内ドキュメントと結びつけやすくなるため、根拠付きで答えやすくなり、ハルシネーションの抑制や事後検証のしやすさにもつながります。

RAGとファインチューニング

ファインチューニングは、既存のLLMに特定のデータを追加学習させて、特定ドメインやタスク向けに振る舞いを調整する手法です。  

しかし、高品質な教師データの準備や再学習のための計算資源が必要になり、頻繁に知識を更新したい場合はコストも時間もかさみます。 一度学習させた内容だけを部分的に入れ替えることも難しく、「新しい規程だけすぐ反映したい」といった使い方には不向きです。

RAGを組み合わせれば、モデル本体には手を加えず、外部のナレッジベース側を更新するだけで最新の知識を取り込めます。 そのうえで、「自社らしい文体」や「特定フォーマットの帳票生成」といった部分だけをファインチューニングに任せることで、両者の得意分野を分けて活かしやすくなります。

まとめると、RAGを組み込むことで、LLMやファインチューニングだけでは埋めきれない弱点を補い、AI全体の実用度を高めやすくなります。

RAGの応用とAIエージェントとの関係

AIエージェントが注目を集める中で、RAGはどんな役割を担えるのでしょうか。

AIエージェントは、人がゴールだけを指示すると、その達成に向けて自分で段取りを考え、必要なツールを使い分けながらタスクを進めていくLLMベースの仕組みです。

具体的には、「計画を立てる → 情報を探す → 業務システムのAPIを呼ぶ → 結果を振り返る」というサイクルを何度も繰り返しながら、最終的なアウトプットにたどり着きます。

「関連記事」：【2025年最新】ChatGPTエージェントモードの登場：人間のように業務遂行するAIへ大進化

「関連記事」：AIエージェントとは？ビジネス活用の基礎と最新動向

このとき、社内の情報へのアクセスを担うのがRAGです。

エージェントが関連する過去事例や社内ルールを確認すべきだと判断したら、RAGに問い合わせ、社内ドキュメントやナレッジベースから関連しそうな部分だけを抽出させます。情報が足りなければ、エージェントはRAG検索を何度でも呼び出し、都度必要な断片を取りに行きます。

言い換えると、RAGはエージェントが社内データにアクセスするための入口となり、その都度必要な情報を引き出して渡す役割を担います。

AIエージェントは、RAGから受け取った社内情報を前提に、「どの選択肢を取るか」「次に何をすべきか」を考え、最終的な判断や提案を組み立てていく、という関係になります。

たとえば、Microsoft 365 Copilotでは、ユーザーのプロンプトをいったん「グラウンディング」し、Microsoft Graph上のメールやドキュメントを検索してからLLMに渡す構造を採用しています。Officeアプリ上のエージェント的な振る舞いの裏側で、RAGが企業データへの入り口を支えているイメージです。

「関連記事」：Microsoft 365 Copilotアーキテクチャとそのしくみ

「関連記事」：Microsoft Fabric での Copilot のしくみ - Microsoft Fabric | Microsoft Learn

Yopazでも、Japan IT Week 春 2025の後のフォローアップで自社開発のAIエージェントを試験運用しました。

名刺OCRで来場者情報をデータ化し、会話メモから関心テーマにタグを付けます。

そのタグを手がかりに社内の事例記事や提案書をRAGで検索し、メール本文案と添付候補を自動で組み立てる、という流れです。

その結果、営業担当は個別性を保ちながら、最小限の修正だけで一通ずつメールを送れるようになりました。

「関連記事」：【自社R&D】AIエージェントが実現した、展示会後のメール対応効率化

RAGを導入するとき、どんな点に注意すべきか？

RAGを入れればすべて解決、というわけではありません。設計や運用の前提を整理しないまま導入すると、「RAGを入れたのに、思ったほど賢くならない」という状態になります。

ナレッジベース自体の品質に強く依存する：古い資料が放置されていたり、ほぼ同じ内容の版が乱立していたりすると、LLMは誤った文書を根拠に回答してしまいます。

権限管理・セキュリティを組み込む必要がある：RAGは検索結果をそのままLLMに渡す仕組みのため、権限設計を考えないと、本来見えてはいけない文書の内容が回答に紛れ込む可能性があります。

レイテンシとコストが増えやすい：「検索」と「生成」の二段階を踏む構造上、チャットボット単体に比べて応答時間もクラウドコストもかさみがちです。インデックス設計やキャッシュ戦略を考えないまま利用が増えると、想定以上のランニングコストにつながるおそれがあります。

LLMの“性格”までは変えられない：RAGは外部情報を取りに行く仕組みに過ぎず、LLMの答え方そのものは変えられません。ぼんやりした無難な回答や、根拠があいまいなまま話を広げてしまう傾向は、そのまま残る可能性があります。

チャンク分割と埋め込みの質で精度が大きく変わる：チャンクの切り方や埋め込みの精度が悪いと、本来拾うべき文脈を取りこぼしたり、関係の薄いテキストばかりがヒットしてしまい、RAG全体の品質が一気に落ちてしまいます。

だからこそ、RAGは「入れておけば勝手に何とかしてくれる」ものではなく、ナレッジベースの中身から回答結果までを人の目で見直す前提で使うのが現実的です。仕組みに丸投げせず、時々きちんと動き方と答え方をチェックしておくくらいの距離感がちょうど良いでしょう。

おわりに

LLMやファインチューニングを支える仕組みとして出発したRAGは、

いまではAIエージェントにとっても欠かせない要素になりつつあります。

その重要性は、今後さらに高まっていくでしょう。

今後のテクノロジーの潮流に合わせて、

RAGの設計や使い方にもアップデートが求められていきます。

YopazでもRAGを中核技術の一つと位置づけています。

社内ドキュメント連携型チャットボット「Yoparin」や、展示会後のフォローアップメールを自動生成するAIエージェントなどのR&Dを進めてきました。

RAGを組み込むことで、こうしたAIが社内の資料や事例集から関連情報を素早く検索・抽出し、その場その場のコンテキストに合った回答や文面を組み立てられるようになります。

AIモデルやRAGの活用について、どんなアイデアやお悩みでも構いません。

まずは一度、気軽にご相談いただければ幸いです。