埋め込み(Embedding)は、文章や単語などのデータを、複数の数値を並べたベクトルとして表す技術です。数値同士の距離や角度を計算し、似たものを探す処理などに使います。
ここでいう「似ている」は、モデルが作った表現の中での近さです。内容の正しさや、業務上の適切さをそのまま証明するものではありません。
文章を数値へ変える意味
文章そのものを保存するだけでは、表現が違う二つの文章の関係を単純な数値で比較できません。埋め込みでは、モデルによって数値表現を作り、その表現同士を比較します。
Googleの教材は、埋め込み空間で近い位置にある項目が、モデルの表現では相対的に関係の近い項目になると説明しています。また、実際の各次元に、人が理解できる名前を必ず付けられるわけではありません。Google: Embedding space
「一番目の数値が感情、二番目が専門性」のように、各数値の意味を根拠なく決め付けないことが大切です。
コサイン類似度を小さな仮例で見る
類似度の測り方の一つがコサイン類似度です。二つのベクトルの内積を、それぞれの長さの積で割り、方向の近さを見ます。Googleの資料は、ユークリッド距離、コサイン、内積の違いを示しています。Google: Measuring similarity
計算用の人工的な二次元ベクトルとして、Aを (1, 0)、Bを (0.8, 0.6)、Cを (0, 1) とします。これは文章を実際にモデルへ入力した結果ではありません。
| 比較 | 内積 | 両方の長さ | コサイン類似度 |
|---|---|---|---|
| AとB | 0.8 | どちらも1 | 0.8 |
| AとC | 0 | どちらも1 | 0 |
この設定では、方向はAとBの方が近いと分かります。ただし、0.8を「正しい確率80%」と読むことはできません。数値の意味は、採用するモデルと比較方法に合わせて解釈します。
埋め込みモデルと検索基盤を分ける
文書検索では、文書を必要な単位へ分け、各部分のベクトルを作り、質問から作ったベクトルと比べる構成が考えられます。埋め込みモデルは数値表現を作る役割、検索基盤は保存した候補から近いものを探す役割です。
候補文書が適切でない場合、保存先の製品だけが原因とは限りません。文書を細かく切りすぎて条件が抜けた、質問と対象文書の表現が合わない、古い版が混ざっているなど、入力や評価の仕方も調べます。
RAGで検索結果を回答へ使う全体の流れは、RAGの解説でも扱っています。
モデルが変わったら同じ座標系か確かめる
Googleは、埋め込みがタスクによって異なることを説明しています。同じ次元数でも、別のモデルが作った数値に同じ意味があるとはいえません。Google: Real-world embedding spaces
文書と質問を比較する際は、互換性のあるモデルや設定を使います。モデル更新時には、既存文書のベクトルを再計算する必要があるか、旧版と新版を混ぜないか、切替時にどちらを検索するかを確認します。
次元数が大きいほど自社の問いに必ず適するとも限りません。同じ質問と文書を使い、必要な回答箇所を取り出せるかで比較してください。
近い候補を実務で使えるか評価する
例えば社内の申請手順を探すなら、話題が近いだけでなく、対象部門、施行日、例外条件が合っているかを確かめます。権限のない文書を候補へ出さないことも、類似度とは別の条件です。
最初に実際の質問を少数用意し、期待する参照箇所と、誤って出てほしくない文書を記録すると比較しやすくなります。埋め込みのスコアを単独の合否基準にせず、業務の問いを満たすかを評価の軸にします。