SpreadSheetデータETLシステム

Date2026/07/29 Last Modified2026/07/29

■ 何を作ったか Google Spread Sheetで管理された顧客情報のETLシステム サービス基幹DBへAPI連携 基幹側でREST APIのエンドポイント設置

■ 自分の担当範囲 要件定義～デプロイ運用、業務ヒアリング等

■ 難しかったこと
システムで解決すべきことと、現場で解決すべきことを切り分けるのが難しかった。結果的に、データを担保するのはシステムで、データの取得源に改善を促すのは現場を動かした。
散らばったデータでユニークされているキーが無い場合の対応が難しかった。照合のために複数のフィールド値を使う方針を採用した。

■ 使用技術
AWS EC2 + MySQL + Laravel

■ 結果
1000件/月ほど発生するデータの目視確認作業を自動化し、大幅な工数削減。
人手で解決していたバラバラなフォーマットを、システム化に合わせて統一したことでクリーンなデータに変化。見落としによる連携ミス、販管費などのコストが削減。

■ 今なら改善すること
要件定義の段階で、エンドポイントの置き方はしっかり決める。 不揃いなデータを統合する際、事前に起こりそうな問題を察知する。ユニークキーと手作業の洗い出し。
現場の作業者と管理者で、把握している情報が全く違う。大枠の規則があっても、それが遵守されているとは限らないので、常にあらゆる角度から情報をもらう。

■ 対応する能力 要件定義～デプロイ、インフラ(AWS)、Laravel、Google APIs(Drive, Spreadsheet)、