サーバーレスによるデータ連携・集計システムの開発

外部サービスで発生する注文を、既存の売上管理で利用できるデータへ変換する仕組みを開発しました。業務上の集計ルールや連携先の仕様を整理し、アプリケーションとAWS基盤を一貫して設計・実装しています。

支援領域： 要件整理、アプリケーション開発、AWS設計・構築、運用改善

対象： 注文データの連携・集計システム

主な処理を抜粋した概略図

業務要件を整理し、データ連携の仕組みへ

外部サービスの注文情報を既存の売上管理へ取り込むには、取得したデータをそのまま渡すだけでは足りませんでした。営業日の扱い、店舗コード、キャンセルやオプション料金などを確認し、売上・商品数量として集計する条件を整理しました。

連携先が受け取るCSVの項目や転送方法も確認し、データ取得から加工・集計、ファイル出力までを実装しました。

サーバーレスによるデータ連携の構成

注文イベントを受けて外部APIから注文詳細を取得し、集計に必要なデータを蓄積します。日次の処理で売上・商品数量を集計し、CSVとして保存・転送する構成にしました。

注文の受信と日次集計を分け、それぞれ必要なタイミングで実行するサーバーレス構成を採用。常時稼働するアプリケーションサーバーの管理を減らし、処理量に応じて動作する基盤を整えました。

開発時に重視したこと

業務ルールを集計ロジックへ反映

日付の切り替わりと業務上の営業日が異なることを踏まえ、営業日を基準に集計する処理を実装しました。店舗コードの変換やキャンセル、料金・税の扱いなども整理し、連携先で利用できる形式へ変換しています。

仕様変更や再集計に備えたデータの持ち方

取得時のデータと、集計時に適用するコード変換・計算処理を分けました。変換前の店舗IDや計算に必要な金額の内訳を保持し、保存期間内のデータから集計し直せるようにしています。

集計ルールを変更する際は適用する営業日を分け、変更前の期間に新しい計算方法が適用されないようにしました。

連携先の運用に合わせたファイル出力

連携先の受入方法に合わせ、CSVのS3保存とSFTP転送に対応しました。保存と転送の失敗を区別し、転送に失敗した際は通知することで、確認が必要な処理を把握できるようにしています。

運用開始後の改善と構成管理

運用開始後も、集計仕様の変更や監視の追加に対応しました。処理エラーやAPI・定期実行の失敗を検知して通知し、問題に気づける仕組みを整えています。

AWS構成はTerraformで管理し、アプリケーションとあわせて変更内容や履歴を追える形にしました。

Markshipの担当範囲

• 業務要件・外部API・連携先仕様の整理
• データ取得・加工・集計・転送アプリケーションの設計・開発
• AWSサーバーレス基盤の設計・構築
• Terraformによるインフラのコード化
• 運用開始後の仕様変更・監視改善