メッセージキューとは?送信・処理完了・再配信の仕組み

メッセージキューは、送り手が渡したメッセージを保持し、処理する側へ受け渡す仕組みです。受け付けと後続処理を分けたいときに使われます。

重要なのは、キューへ送れたことと、業務処理が完了したことを区別することです。この記事では、企業システムの設計・運用担当者向けに、処理完了の確認、重複、再配信の関係を整理します。

送り手と処理担当の間に置く

架空の申込システムで、受付直後に帳票を作る場合を考えます。受付側が帳票作成をその場で終える方式のほかに、作成依頼をキューへ渡し、別の処理担当が取り出す方式があります。

後者では、受付画面で「受付済み」を返す時点と、帳票が利用可能になる時点を分けて設計します。利用者への表示も、何が完了したかに合わせる必要があります。非同期にしただけで、帳票作成の負荷や失敗がなくなるわけではありません。

処理をまとめて実行するかというバッチ処理の考え方と、メッセージをどう受け渡すかは別の設計軸です。

送信成功と業務完了を分ける

キューを使うときは、少なくとも「送り手が送った」「キュー側が受けた」「処理側が処理した」を分けて見ます。

RabbitMQでは、送り手に対するpublisher confirmsと、処理側から返すconsumer acknowledgementsは独立しています。前者が、処理側での業務完了を通知するものではありません。RabbitMQ「Consumer Acknowledgements and Publisher Confirms」

記録したい段階 確認したい疑問
送信 送る内容と識別子は何か
受理 受渡し基盤が受けたことを確認できるか
処理開始 どの担当がいつ取り出したか
業務結果 成果物や更新が実際にできたか
完了通知 再配信対象から外す条件を満たしたか

用語やAPIはサービスごとに違うため、この表を製品の仕様へ対応させて読みます。

重複配信に備える

一度送ったメッセージが、一度だけ処理されると決めつけないでください。Amazon SQSのStandardキューでは、同じメッセージを再び受信する可能性があり、公式資料は複数回処理されても不都合を起こさない設計を求めています。AWS「SQS at-least-once delivery」

架空の帳票作成なら、同じ依頼IDに対して成果物を何度も増やさず、既存の完了状態を確認する、といった設計を検討できます。ただし、識別子を付けただけで二重実行を防げるわけではありません。同時に同じ依頼が処理されても結果が整合するよう、確認と更新のまとまりを検討します。

処理時間と再配信の条件をそろえる

SQSには、受信したメッセージを一定期間ほかの処理担当から見えにくくするvisibility timeoutがあります。処理・削除が間に合わず期限が切れると、メッセージが再び取得可能になります。また、その期間中の重複配送が絶対に起きないという保証でもありません。AWS「SQS visibility timeout」

設定値は、平常時の速さだけで決めず、時間のかかる処理、担当プロセスの停止、外部接続の遅れを含めて検討します。延長できる条件や、失敗を何回まで再処理するかも確認事項です。

再配信は処理を回復させる機会であり、業務結果の正しさを保証する仕組みではありません。

一件の状態を最後まで追う

導入前には、同じ依頼を二度渡す、処理の途中で停止する、完了直後に確認通知だけを失う、といった試験を検討します。それぞれで、成果物、キューの状態、運用者への通知がどうなるかを記録してください。

待機件数だけでなく、古い依頼が滞留していないか、失敗した依頼を誰が扱うかも決めます。通知条件は監視アラートの設計と合わせて整理できます。非同期処理を含む構成の相談先はインフラ・クラウド技術支援です。

記事一覧へ戻る

ITの困りごとを、
まずはご相談ください。

何から手をつけるか決まっていない段階でも構いません。ご相談内容に応じて、担当者からご連絡します。

まずは相談する

採用へのご応募は採用エントリーからお願いします。