ベクトルデータベースは、データを数値の配列で表した「ベクトル」を保存し、近いものを検索するための基盤です。文章検索では、文章を埋め込みモデルでベクトルへ変換し、質問のベクトルに近い文書を探す使い方があります。
ただし、数値として近いことと、業務上の正解であることは別です。導入時は検索の速さだけでなく、欲しい文書が見つかるか、対象外の文書を除けるかを確認します。
普通のキーワード検索と何を比べるか
文字列や単語を手掛かりに探す方法に対し、ベクトル検索ではモデルが作る数値表現の距離や類似度を使います。そのため、同じ表現を含むかとは異なる軸で候補を得られます。一方、型番や固有名詞の一致が重要な検索では、ベクトルだけで十分かを実データで確かめる必要があります。
専用製品を選ぶか、既存のデータベースや検索製品のベクトル機能を使うかも比較対象です。「ベクトルを扱える」という一点では、運用方法まで同じとは判断できません。
完全探索と近似探索の違い
Microsoftの説明では、全点を比較するExhaustive KNNと、グラフ構造を使って候補を探すHNSWなどを区別しています。HNSWは近似探索であり、完全な近傍集合を常に返すことを前提にする方式ではありません。Microsoft: Vector search ranking
| 比較点 | 完全探索 | 近似探索 |
|---|---|---|
| 探し方 | 対象の全点を比較する | 索引を使って探索範囲を絞る |
| 評価の用途 | 近傍集合の比較基準に使える | 応答時間と取りこぼしを比較する |
| 確認したい条件 | データ量が増えたときの計算負荷 | 索引方式・設定・メモリと検索品質 |
これは方式の概念比較です。実際の負荷はデータ量、次元、実装、設定によって変わるため、特定の件数から必ず近似方式が必要だとは決められません。
文書検索で二種類の「見つからない」を分ける
架空の社内規程検索で、質問を20件用意するとします。評価ではまず、担当者が質問ごとに参考にすべき文書を決めます。これは業務上の正解です。次に、同じベクトルと候補群で完全探索した結果を用意し、近似探索と比べます。
- 完全探索にも正解文書がない場合:文章の分割、埋め込み、質問表現などを調べる。
- 完全探索にはあるが近似探索にない場合:索引や探索設定による取りこぼしを調べる。
- 文書は見つかるが古い版の場合:更新、削除、対象条件を調べる。
この切り分けをせず、回答AIのモデルだけを変えても、検索側の問題が残る可能性があります。20件という数は仮例であり、十分な評価件数の基準ではありません。
フィルターと権限条件を試す
ベクトルの類似度とは別に、部門、文書種別、有効期限などの情報で対象を絞る場合があります。MicrosoftのAzure AI Searchでは、探索の前・途中で絞る方式と、探索後に絞る方式などがあり、位置によって検索結果や処理時間に違いが出ます。特に探索後の絞り込みでは、条件によって候補の取りこぼしが起きると説明されています。Microsoft: Filters in vector queries
製品比較では、「フィルター対応」という項目だけで終えず、対象が少ない条件でも必要な候補数を返せるかを試してください。アクセス権を持たない文書を返さないことも、検索品質とは別に確認します。検索後に表示だけ隠す設計で十分かは、生成処理へ渡る情報も含めて判断する必要があります。
導入前の比較表を作る
| 項目 | 確認すること |
|---|---|
| 品質 | 同じ質問で、必要な文書と版が返るか |
| 応答時間 | 平常時と同時アクセス時でどう変わるか |
| 更新 | 文書の追加・修正・削除がいつ検索へ反映されるか |
| 再計算 | 埋め込みモデルを変更するとき、既存データをどう扱うか |
| 運用 | 保存量、索引作成、監視、バックアップを誰が管理するか |
試験ではデータ、モデル、絞り込み条件、返す件数を記録してそろえます。その上で、必要な品質と運用負荷を満たす方式を選びます。検索基盤を含む企業の技術相談については、インフラ支援の内容をご確認ください。