広告配信エンジンの開発・運用システムの大規模リプレースプロジェクトの設計から実装までを担当しました。当時、大規模なサーバ群が稼働しており、クラウドベースのシステムへの移行、大量データの時間内処理が大きな課題でした。

モバイルデータのログ、数十億レコード数／日の大量データを機械学習で扱い、新規の広告商品に反映していきたいという要望。高速処理と精度のバランス、クラウド処理のコストバランスを考えたシステム設計をする必要がありました。

当時、検討課題が多くあり、クライアントもすべての課題を把握していない状況。

柔軟にクライアントの意向を踏まえて、クイックな調査や評価まとめ、テストを行いシステムプランニングをしていくことが求められました。

弊社のチーフデータサイエンティストの成長が著しくクライアントとの良い並走をつとめることができ、大きな取り組みを任せていただくことができました。

クラウド（AWS）、Sparkによる大規模データ処理システムをゼロから設計構築を担当。クライアントとの密な連携を行いアジャイル開発にて開発を行いました。
・AWSへの移行、設計、構築
・Sparkによる大規模データ処理システム
・それまでは時間内に処理ができなかった一日あたり数十億レコード数を越える大量なデータをビジネス要求内で処理を実現
・データ前処理モジュールの改善機械学習ロジックの見直しにより、処理時間の60%圧縮を実現

・クラウド（AWS）
・Scala
・Spark
・Hadoop等

上流工程 ：3人月
設計 / 製造 / テスト〜移行 支援： ９人月
総工数： 12人月（工期９ヶ月）