アノテーションとは?AI教師データのラベル基準と品質確認の進め方

AIの教師データを作るときのアノテーションとは、文章や画像などのデータに、意味や分類を示すラベルを付ける作業です。たとえば問い合わせ文に「請求」「操作方法」といった分類を付けます。Google Cloudも、元データに意味のあるラベルを与え、機械学習で扱うための文脈や分類を提供するものと説明しています。出典:Google Cloud

企業で作業を始める際は、ラベル名だけでなく、迷ったときの判断と完成後の確認方法まで決めることをおすすめします。本稿では、問い合わせ分類を例に、そのための基準表と進め方を示します。以下の例や運用表は編集上の提案であり、特定企業の実績や必須の標準ではありません。

まず「何を一件として、何を判断するか」を決める

最初に、AIに任せたい判断を一文で書きます。ここでは「問い合わせを担当窓口へ振り分ける」とします。「顧客の不満を分析する」ことが目的なら、同じ文章でも別のラベル設計を検討する必要があります。

次に、メール一通を一件とするのか、メール内の質問一つを一件とするのかを決めます。「請求額を確認したい。ログインもできない」という文章を一件とするなら、複数ラベルを許すか、一つに絞るルールが必要です。

ここが未決定なら、大量のデータを渡す前に業務担当者が整理しましょう。以下はメール一通を一件とする場合の基準表です。

決める項目 基準に書く内容の例 未決定なら確認すること
作業単位 メール本文一通を一件とし、過去の引用文を除く 署名や引用を含めるか
ラベルの定義 「請求」は金額・支払い・請求書に関する質問 含む例と含まない例を示せるか
複数の要件 内容に対応する複数ラベルを許す 学習先で複数ラベルを扱うか
情報不足 「確認してください」だけなら判断保留 作業者が補足情報を見られるか
対象外 広告など、対象業務と無関係なもの 削除するか、対象外として残すか
判断の優先順位 基準にない事例は責任者へ回す 最終判断者は誰か

Google Cloudの手順でも、ラベルの定義や判断基準、境界例を含むガイドラインの作成が挙げられています。出典:ラベリングの手順

正例だけでなく、迷う例を使って試行する

基準書には、典型的な正例と境界例を並べましょう。以下はすべて説明用の架空データです。

問い合わせ文 この例での扱い 基準書に補足すること
今月の請求書を再発行してください 請求 請求書の発行・再発行も含める
請求書をダウンロードする操作を知りたい 請求・操作方法 話題と操作の両方を付けるルールにする
前の件を確認してください 判断保留 前のやり取りを参照できない場合は推測しない
セミナーへの参加をご案内します 対象外 顧客からの問い合わせ以外を区別する

実際の分類は業務目的に合わせて変えて構いません。大切なのは、作業者が自分の常識で補う部分を減らすことです。

試行では、同じデータを複数人が互いの回答を見ずに判定する方法を提案します。結果が分かれたら、ラベル定義、複数ラベルの扱い、参照できる情報のどこに違いがあったかを記録します。業務担当者が判断を決め、基準書に例を足してから本作業へ進みます。

複数人による処理には費用も伴います。AWSの注釈統合の説明でも、複数作業者の結果を統合する仕組みと、人数を増やした場合の正確さと費用の関係が示されています。出典:AWS Annotation consolidation

この仕組みを参考に、全件を複数人へ渡すか、試行や難しい事例に絞るかを検討してください。

品質は「形式」「判断」「未解決」に分けて確認する

Google Cloudは品質確認の方法として、抜き取り確認、作業者間の一致、自動検証ルールを挙げています。出典:品質確認を含む手順

実務への落とし込みとして、次の三つを分けた確認表を提案します。

確認対象 確認方法の例 問題が見つかった場合
形式 必須項目の空欄、許可していないラベル、同じIDの重複を調べる 出力を修正し、再検査する
判断 抜き取った結果を基準書と照らし、複数人の判定も比較する 読み違いか基準不足かを切り分ける
未解決 保留件数と理由、未処理の質問を一覧にする 判断者と期限を決め、保留のまま受け入れる範囲も明記する

一致率は、何を数えたかと一緒に残す

二人が同じ10件を分類し、そのうち8件でラベルが一致したなら、この例での単純な一致率は8÷10=80%です。これは計算例であり、推奨する合格値ではありません。複数ラベルなら、全ラベルが同じ場合だけ一致と数えるのかも明記します。

二人が同じ誤判定をした場合も一致に数えられます。一致率だけで正解とせず、基準書との照合を別に行いましょう。全体の数字に加えて、どのラベル同士で判断が分かれたかを残すと、修正箇所を具体的に検討できます。

抜き取り方と受入条件は作業前に決める

確認用データには、無作為に選ぶものに加えて、境界例や少数のラベルに該当するものを別枠で含める運用を提案します。この二つの結果は分けて記録し、難しい例を多く集めた確認結果を、そのまま全体の誤り率として扱わないようにします。

合格条件は、ラベルの用途と誤りが起きた場合の影響を踏まえて発注側が定めます。「形式不備は修正する」「境界例の未解決は責任者が判断する」など、条件を満たさないときの対応まで書いておきましょう。

自動化や外注でも、判断基準を受け渡す

自動でラベルを付ける方法にも、誤りや偏りの評価と品質管理が必要です。出典:Google Cloudの自動ラベリングの説明

自動処理を使う場合は、出力結果を上の確認表で点検し、どの条件なら人が見直すかを決める運用を提案します。AIの回答そのものの誤りを確認する論点は、AIのハルシネーション対策で扱っています。

外注する場合も、ラベル名の一覧だけで依頼を完了させず、基準書、境界例、保留の連絡先、納品形式、受入条件を共有しましょう。業務上の定義を決める人、作業する人、納品を確認する人を明記します。

基準を変更した際には、版と適用日を付け、どのデータへ適用したかを残す方法をおすすめします。たとえば「請求書のダウンロード方法」を単一ラベルから複数ラベルへ変えるなら、過去の同種データも再確認の対象にするか判断します。

アノテーションを始める準備として、まず作業単位、ラベルの境界、保留の扱いを一枚にまとめてください。その基準を少量のデータで試し、判断が分かれる箇所を直してから、本作業の範囲と受入条件を確定しましょう。

記事一覧へ戻る

ITの困りごとを、
まずはご相談ください。

何から手をつけるか決まっていない段階でも構いません。ご相談内容に応じて、担当者からご連絡します。

まずは相談する

採用へのご応募は採用エントリーからお願いします。