リアルタイムCTR(クリック率)予測システムの開発における環境構築と全体の速度検証を担当しました。
リアルタイムで機械学習を利用して予測を行うシステムは、「予測」「実行スピード」要件を同時に満たす必要があります。
ビジネスで求められる短時間内にCTR予測を含めた全処理を完了させる必要がありました。これを実現するために、処理時間ボトルネックの正確な把握と、それを踏まえた全体の設計が重要なポイントとなりました。
当初、ビジネス要件と実装状況は大きく解離があり、通信プロセスを丁寧に見てスピードを上げていく必要がありました。また実装環境の比較も含めて、方針決定から検証、実装なども関連するクライアント部署の状況にあわせて柔軟にすすめる必要があり、当社のデータエンジニアリングの技術が評価されました。
Docker、Kubernetesを用いたシステムにおいて、
開発/テスト/本番環境の構築/全体の速度検証を実施。
シビアな高速化要請に対し、最新技術による設計と、実測比較、検証を行い、処理ロジックの最適化や言語仕様レベルの最適化を実施し、システム全体の速度向上を実現しました。
・Kubernetes
・Docker
・Go
・AWS
・ElastiCache
・Redis等
チーフデータアナリシスエンジニア
データエンジニア
ITアーキテクト