AI/機械学習

メール広告配信エンジン、運用システムの大規模リプレース

クライアント デジタル広告企業
課題と背景

 

広告配信エンジンの開発・運用システムの大規模リプレースプロジェクトの設計から実装までを担当しました。

 

クライアントでは大規模なサーバ群が稼働しており、クラウドベースのシステムへの移行、取り扱いが難しい数十億レコード数/日の大量データを機械学習による精度向上を行いたいという目標がありました。高速処理、処理速度と精度のバランス、クラウド処理のコストバランスなど、複雑なビジネス要件を満たす必要がありました。

取り組みと価値

AWS、Sparkによる大規模データ処理システムをゼロから設計構築し、数十億レコード数/日を越える大量なデータをビジネス要求内で処理することを可能にしました。また、分散環境への移行、データ前処理モジュールの改善、機械学習ロジックの見直しにより、処理時間の60%圧縮実現しています。

利用技術

クラウド(AWS)、Scala、Spark、Hadoop等