MLOpsは、機械学習システムの開発と運用をつなぎ、モデルを継続して評価・配備・監視するための取り組みです。一度学習したモデルを置くだけでは、データの変化や業務側の要件変更に対応できません。
本稿は需要予測などの予測モデルを中心に説明します。コードに加えて、データ、学習済みモデル、評価結果の組み合わせを管理することが要点です。
モデル以外にも管理対象がある
Google Cloudの解説では、MLOpsは機械学習システムの開発と運用を結ぶ実践とされ、コードだけでなくデータやモデルの検証、配備、監視を扱います。Google CloudのMLOps解説
同じコードでも、学習データや設定が変われば、できあがるモデルや評価結果は変わり得ます。モデルのファイル名だけを残しても、どのデータで作り、なぜ採用したかを追えません。
需要予測を例に流れをつなぐ
以下は架空の店舗需要予測です。自社の導入事例や成果ではありません。
| 工程 | 作業例 | 次へ渡す情報 |
|---|---|---|
| データ確認 | 売上データの期間・欠損・形式を確認 | 使ったデータの版と除外条件 |
| 学習 | 特徴量と設定を決めて学習 | コード・設定・モデルの版 |
| 評価 | 未学習のデータで現行モデルと比較 | 指標、対象期間、条件別の結果 |
| 配備 | 採用したモデルを予測処理へ反映 | 配備版と戻し方 |
| 監視 | 入力と予測結果、処理状態を確認 | 異常の種類と再評価の判断 |
この例では、全体の平均誤差が改善しても、特定の店舗だけ大きく悪化している可能性を考えます。業務で重要な条件に分けて確認する設計が必要です。
データの検証とモデルの評価を分ける
売上列が文字列へ変わった、必要な項目が欠けた、といった問題は学習前に検知したい入力上の異常です。一方、形式は正常でも、季節や商圏の変化で予測が業務に合わなくなることがあります。
入力分布の変化を検知したことだけで、精度が落ちたとは確定できません。実績値が得られるタイミングや、予測と実績を結び付ける方法を決め、性能評価へつなげます。正解が遅れて届く業務では、即時の処理監視と、後から行う性能確認を分けます。
自動学習と自動公開は別に判断する
新しいデータが届くたびに学習を動かしても、そのモデルを本番へ出してよいとは限りません。比較対象、採用条件、評価できなかった場合の扱いを決めます。
たとえば、評価データが不足する場合は現行モデルを維持し、確認待ちにする運用が考えられます。自動化するのは作業だけでなく、「条件を満たさないなら止める」という判断の分岐も含みます。最初から全工程を無人化する必要はありません。
配備後に問題が見つかった場合は、前のモデルへ戻すのか、予測機能を止めるのか、代替の業務へ切り替えるのかを決めておきます。モデルの版だけでなく、入力加工や出力形式の互換性も確認します。
小さな運用から始める
初期段階では、学習の自動化より先に、現行モデルの由来と評価記録を追える状態を作る方法があります。再実行の手順を残し、手作業であっても同じ確認を通せるようにします。
業務側は許容する誤差や失敗時の扱いを示し、開発側はデータとモデルを管理し、運用側は監視と復旧を担うなど、判断の境界を明らかにします。担当の名称は組織によって変わります。
AI利用を継続運用へつなげる検討では、対象業務、更新頻度、現在の評価方法を整理すると相談しやすくなります。テクノヴァースへのお問い合わせもご利用ください。