AI学習データの作り方｜収集・ラベル付け・分割の流れ

AIの学習データは、モデルに覚えてほしい規則を学ぶ材料です。教師あり学習では、入力と正解に相当するラベルを組にして用意します。大量のファイルを集めるだけでなく、目的に合う入力、判断基準、評価に回すデータを決める必要があります。

モデルを使う場面を定義し、その場面で得られる情報だけで学習用の一件を作ることが出発点です。本記事は、問い合わせ分類を例に、収集から引渡しまでを説明します。生成AIの回答品質を評価するテストケースの作成とは目的が異なります。

一件の入力と、求める出力を定義する

仮に受付時の問い合わせを「請求」「操作」「障害」「判断保留」に分類したいとします。入力は受付時点の件名と本文、出力は分類ラベルです。後から担当者が記入した対応結果を入力に含めると、実際の受付時には使えない情報で学ぶことになります。

Googleの学習データ準備資料は、各項目の意味・型・取得時点・測定方法などを文書化することや、収集範囲の偏りを確認することを挙げています。Googleの学習データ準備チェックリスト

収集元、利用目的、利用条件、保存先、閲覧権限を確認します。業務で保有している資料でも、そのまま外部環境へ持ち出せるとは限りません。今回の学習に不要な氏名や連絡先などは除く設計を検討します。

一つの部署や短い期間だけのデータで、全社や通年の問い合わせを代表できるとは限りません。時期、製品、入力経路、頻度の低い種類を確認し、足りない範囲を記録します。件数の多さと、必要な場面を含むことを別に評価してください。

「請求に関する質問」と「請求画面が開かない」は、言葉が似ていても分類が異なります。分類名だけを配るのではなく、含める例、含めない例、複数の問題が混じる場合の優先順を決めます。

少数の同じデータを複数人で付けてみて、判断が割れた理由を確認します。多数決で終えず、基準が不足したのか、入力情報が足りないのかを分けます。基準を変えたときは、過去のラベルへ影響する範囲も確認します。

学習に使ったデータだけで性能を測ると、初めて見る問い合わせへ対応できるかを判断しにくくなります。学習、モデルの調整に使う検証、最後に確認するテストを分けます。AWSの資料も、この三つの分割をデータ漏洩対策として説明しています。AWSのデータ分割と漏洩の説明

同じ問い合わせの転記や、同じ会話の別メッセージを別々の集合へ入れないよう、元の会話単位でまとめます。将来の問い合わせを扱うなら、時期による違いも評価できる分け方を検討します。どの分け方が適切かは、実際の利用場面に依存します。

固定の分割比率を先に決めるより、各分類を評価できる件数があるか、独立したテストになっているかを確認します。少数分類が足りなければ、その限界を評価結果に残してください。

納品物はデータ本体だけではありません。項目定義、ラベル基準、収集期間、除外条件、分割方法、件数、既知の偏りをまとめます。後からデータを追加した場合も、同じ評価用データを不用意に学習へ混ぜない運用が必要です。

最初は小さな範囲でラベル付けと評価の流れを確認し、改善点を解消してから対象を広げましょう。学習データを用意する前段階の業務整理は、テクノヴァースのAI活用支援をご確認ください。