ファインチューニングとRAGは、生成AIを業務へ合わせるために使われますが、変える対象が異なります。ファインチューニングは追加学習によってモデルのパラメータを調整する方法、RAGは検索した情報を回答時の文脈へ加える方法です。
新しい情報を参照させたいのか、望む答え方を学ばせたいのかを分けると、検討する方法を絞れます。どちらかを選べば正答が保証されるわけではなく、用途ごとの評価が必要です。
学習で変えるものと、検索で渡すもの
Google Cloudの資料では、教師ありファインチューニングに、期待する出力を示す例を用いて望む振る舞いやタスクを学ばせる方法が説明されています。すべてのパラメータを更新する方法と、一部を調整する効率的な方法も区別されています。Google Cloudのチューニング説明
RAGでは、文書を取り込み、検索できる形へ整え、質問に関係する情報を検索して生成の入力へ加えます。Google CloudのRAG説明
| 比較する点 | ファインチューニング | RAG |
|---|---|---|
| 主に変える対象 | モデルのパラメータや追加パラメータ | 回答時に渡す参照情報 |
| 用意する材料 | タスクに合った入力と望む出力などの学習例 | 検索対象の文書と関連情報 |
| 確認すること | 学習していない入力でも望む振る舞いになるか | 適切な根拠を検索し、回答へ正しく反映するか |
| 情報更新の扱い | 学習内容の更新には再学習等の検討が必要 | 原文だけでなく検索側への反映を確認する |
表は選択の考え方で、利用できる機能や学習形式は採用するモデル・サービスによって異なります。
規程の最新版を答えたい場合
社内の申請手順を案内する仮の用途を考えます。部門や適用日によって規程が変わるなら、質問に合う最新版を参照できることが重要です。
この場合、まずRAGで、規程の正本、版、適用条件、閲覧できる利用者を管理し、関連箇所を検索できるか検討できます。古い規程と新しい規程が両方残っていると、検索した情報自体が適切でない可能性があります。
検索結果が正しくても、生成された回答が条件を落とす場合はあります。「誰に、いつから適用するか」を含む質問で確認し、根拠のない質問には答えない挙動も評価します。
一定の形式で分類や抽出をしたい場合
別の仮例として、問い合わせ文から「製品名」「症状」「希望対応」を一定の形式へ整理したいとします。まず通常のプロンプトで目的、項目、出力例を明確にし、それでも形式や判断のばらつきが問題になるか確認します。
入力と期待する出力の例を十分に用意できるなら、ファインチューニングが検討対象になります。Googleの説明でも、分類、抽出、一定の要約などが用途として挙げられています。ただし、学習例の量だけを増やすのではなく、曖昧な入力や対象外も含め、どの応答を望むかそろえる必要があります。
学習用に使った例で正解しただけでは不十分です。別に確保した評価例で、形式の適合と内容の正しさを確かめます。モデルを調整した結果、別の入力への応答が悪化していないかも確認します。
両方を組み合わせても、原因を分けて評価する
望む回答形式を調整したモデルへ、RAGで最新情報を渡す構成も考えられます。ただし、最初から両方を変えると、改善や悪化がどこから来たか分かりにくくなります。
比較では、元のモデルとプロンプト、RAGを加えた構成、調整したモデルなど、何を変更したかを分けます。入力、評価対象、確認する項目をそろえて、検索、回答、形式のどこで失敗したか記録します。
学習へ渡してよいデータか、検索時に利用者の権限を守れるか、運用時の更新や評価を誰が担当するかも必要な判断です。機能を組み合わせるだけで情報管理が解決するわけではありません。
改善したい失敗を、具体例から選ぶ
「AIの精度を上げたい」という要望を、古い根拠を使う、必要な文書が見つからない、出力形式が崩れる、分類基準が合わない、といった実際の失敗へ分解してみましょう。その違いによって、文書整理、検索改善、プロンプト修正、追加学習などの選択肢が変わります。
評価用の例は生成AIの評価データの作り方でも整理しています。業務へ組み込む方法を検討する際は、テクノヴァースのAI活用の案内をご確認ください。