AIチャットボットの導入方法｜回答範囲と人への引継ぎを設計する

AIチャットボットの導入は、会話画面を用意するだけでは完了しません。どの質問へ答え、どの情報を参照し、答えられない場合にどう案内するかを決める必要があります。

対象の問い合わせと回答根拠を絞り、人へ引き継ぐ条件を含めて試すことから始めましょう。本記事では、社内の問い合わせ窓口を例に、導入前の整理から試行の評価までを説明します。

自動化したいのは、どの問い合わせか

最初に、現在の問い合わせを実際の内容から分類します。決まった手続の場所を案内する質問、条件に応じて回答が変わる質問、個別判断や承認が必要な質問を分ける方法があります。

架空の社内窓口なら、「申請書はどこにあるか」と「今回の申請が承認されるか」は別です。前者は確認済みの資料へ案内できますが、後者は担当者の判断が必要かもしれません。答えることと、手続を確定することを混同しないようにします。

件数だけで対象を選ばず、回答の根拠が整っているか、誤回答の影響はどれくらいか、問い合わせ後にどんな行動が必要かを確認してください。

あらかじめ用意した選択肢や回答へ案内する方法と、資料を検索して生成AIが回答をまとめる方法では、準備と評価の対象が変わります。

Microsoft Copilot Studioの生成回答の説明では、指定した情報源から関連する内容を探し、生成AIで回答にまとめる仕組みが示されています。同じ資料でも回答が常に同じとは限らず、誤りを含む可能性も説明されています。出典：Microsoft 生成回答FAQ

導入時には、資料を入れれば自動的に正解になると考えず、正式な手順、適用条件、更新日、担当部署が分かる資料を用意します。古い資料と新しい資料が競合しているなら、回答の生成方法を変える前に、どちらを使うべきか整理する必要があります。

社内向けでも、全員が同じ文書を閲覧できるとは限りません。部署限定の資料や個別の人事情報など、利用者に応じた範囲を確認します。

Copilot Studioの資料でも、情報源の種類によって認証の扱いが異なり、利用者の権限に応じて参照する仕組みが説明されています。どのサービスでも同じ動作になるとは限らないため、採用する構成で確認してください。出典：Microsoft Knowledge sources

試験では、権限のある人が答えを得られるかだけでなく、権限のない人に内容が出ないかを確認します。資料へのリンクが見えないことと、回答文へ内容が含まれないことも分けて確かめます。

質問数だけを増やすより、実際の問い合わせの違いを含めます。同じ意図の言い換え、条件不足、対象外、古い制度に関する質問、回答に根拠がない質問などを用意する方法があります。

表は評価用の例です。実際の業務ルールに合わせ、良い回答だけでなく、出してはいけない回答も具体化します。生成回答を使う場合は、同じ文字列かだけでなく、内容と根拠が条件を満たすかを評価します。

引き継ぎ先へ送る内容は、利用者の質問、確認済みの条件、解決できなかった点などに絞ります。会話全体を無条件に共有するのではなく、必要な情報と取り扱いを決めてください。

運用では、回答資料の更新者、誤回答の連絡先、修正後の確認者を置きます。制度が変わった場合に、資料だけでなく、試行用の質問や案内先も見直します。

利用者へAIによる回答であることや、必要に応じて担当者へ確認できることを伝える方法も検討します。「問い合わせ削減」を理由に、人へ連絡する手段を分かりにくくしないようにしましょう。

チャットの利用件数が増えても、問題が解決したとは限りません。回答で解決できたか、再問い合わせが起きたか、担当者の確認や修正がどれだけ残ったかを見ます。対応時間を比較するなら、資料更新や誤回答対応の負担も別に把握します。

対象を絞った試行の結果から、回答範囲を広げるか、資料を整えるか、人が担う方がよいかを判断します。AIチャットボットを含む業務改善の検討は、テクノヴァースのAI活用の案内をご覧ください。