AI/機械学習
メール広告配信エンジン、運用システムの大規模リプレース
クライアント | デジタル広告企業 |
---|---|
課題と背景 |
広告配信エンジンの開発・運用システムの大規模リプレースプロジェクトの設計から実装までを担当しました。
クライアントでは大規模なサーバ群が稼働しており、クラウドベースのシステムへの移行、取り扱いが難しい数十億レコード数/日の大量データを機械学習による精度向上を行いたいという目標がありました。高速処理、処理速度と精度のバランス、クラウド処理のコストバランスなど、複雑なビジネス要件を満たす必要がありました。 |
取り組みと価値 | AWS、Sparkによる大規模データ処理システムをゼロから設計構築し、数十億レコード数/日を越える大量なデータをビジネス要求内で処理することを可能にしました。また、分散環境への移行、データ前処理モジュールの改善、機械学習ロジックの見直しにより、処理時間の60%圧縮実現しています。 |
利用技術 | クラウド(AWS)、Scala、Spark、Hadoop等 |