Merpay Tech Openness Month 2022 の18日目の記事です。
こんにちは。メルペイの機械学習エンジニアの @navi です。
本記事では、機械学習を用いてビジネスの課題解決に取り組まれている方に向けて、メルペイの機械学習チームがビジネスチームと協力してKPI改善を実現した実際の事例を記述し、機械学習のビジネス貢献の大変さや面白さを紹介していきます。
背景
メルペイの機械学習チームは、メルペイスマート払いという与信サービスにおいて、お客さまの与信枠の決定に関わる機械学習モデル（以下、与信モデル）の開発と運用を行っています。与信モデルの詳細や実際の取り組みに関して興味がある方は過去記事を参照してください。
メルペイでは機械学習モデルにより与信枠を設定しているため、与信モデルの品質が適切に与信を提供できているか、ということに大きく寄与します。加えてビジネス観点では、与信モデルの品質向上により、メルペイスマート払いの利用額増加や高い精算率（利用額に占める期限内の精算額の割合）が期待されます。
このように、与信モデルはお客さまへの価値提供と、メルペイのビジネス発展のために重要な要素であり、機械学習チームは与信モデルの改善に日々取り組んでいます。
本記事では、与信モデル改善施策として、与信モデルの予測ターゲットを変更したことを紹介します。予測ターゲットを変更した理由は、お客さまに最適な与信を提供するためにビジネスKPIの変更を行ったことで、与信モデルとしての最適対象を調整する必要があったためです。
この改善施策において、ビジネスチームのメンバーとメルペイの機械学習エンジニアが協力して与信モデル改善の取り組みを紹介していきます。
モデル改善のための取り組み
KPIにつながる評価指標
メルペイの与信モデルでは、AUCをモデルの精度を評価するための指標として使用しています。モデルの精度は重要ですが、KPI改善につながらないと意味がありません。また、現与信モデルと比較として、お客さまにどのような影響が想定されるのか、という観点での評価も必要になります。
今回の取り組みではモデルの評価指標として、お客さまの利用金額を考慮した延滞率、モデル更新前後での与信枠の変化など、新たなビジネスKPIに関係する指標を検討しました。
このような指標はビジネス視点が必要になるケースがあり、機械学習チームだけでは十分にカバーできないことが多々あります。そのため、ビジネスチームとともに、評価指標の定義や算出方法を議論しながら決めていきました。ドメイン特有の専門性をキャッチアップすることに苦労しましたが、ビジネスチームと協業することで難しいドメインでも効果的な評価指標を設定することができ、KPIにつながるモデルの適切な評価を行うことができました。
意思決定の場での報告
与信モデルはメルペイの収益性とUXのために重要な要素なので、PoCの結果は経営陣を含む様々なステークホルダーに対しての説明と、モデル変更の合意が必要でした。そのような中、実際にPoCを行ったエンジニア自らがPoCの結果報告を行い、最終的にモデルを更新するという意思決定に貢献しました。エンジニア自身が意思決定に貢献できるところが、難しくもあり、かつ面白みを感じるポイントと言えるのではないでしょうか。
ビジネスKPIにつながるモデル活用への貢献
実際の与信枠は、与信モデルの出力結果だけでなく、様々な後処理を含めた与信枠計算ロジックを経て決定されます。ビジネスKPIの変更に伴い、新しい与信枠計算ロジックの全体として、与信モデルが収益性やメルペイスマート払いの利用額に与える影響をシミュレーションできるようにする必要がありました。シミュレーションの特性上、モデルの出力結果が確率値で表現される必要がありましたが、これまでの与信モデルではそのような使われ方は想定されていませんでした。
そこで、モデルの出力値を実際のターゲットの確率分布に近づけるキャリブレーションを実施することでモデルの出力値を確率として解釈でき、シミュレーションが実現、結果として新しい与信枠計算ロジックへの適用ができるようになりました。
一連の取り組みは、PoCと同様にビジネスのメンバーと議論を展開しながら進めていきました。モデルの活用方法においてビジネスのメンバーと協業することで、ビジネスKPIを意識したモデルの改善ができたと言えます。
複数チームを横断した高頻度のコミュニケーション
今回紹介した取り組みに共通して言えることは、ビジネスチームを始めとする様々なチームとのコミュニケーション頻度が非常に高かったことです。PoC実施からビジネス要件への適用など、様々な場面で活発な議論が行われました。
特にビジネス要件への適用に関しては、与信枠計算ロジックに関する複数のタスクが同時に進行していたこともあり、ビジネスチームを含む複数チームとの定例ミーティングが毎日開催されていました。日々のミーティングではタスクごとの現状の報告と次のアクションが関係者全体に常にシェアされており、意思決定がスピーディに実施される状態でした。加えて、様々なバックグラウンドを持つメンバーが、それぞれの専門性を活かし、チームワークを発揮してKPI改善のために邁進していました。
そのような環境で成果を出すことは非常に大変でしたが、事業全体における機械学習の貢献が大きいことを痛感し、やりがいを持って取り組むことができました。
KPI改善のため機械学習エンジニアが意識したこと
チームで運用している与信モデルはビジネスに対する影響力が大きいということもあり、プロジェクト全般を通じて「ビジネス志向」を持つことを強く意識しました。
ビジネスと一体となってモデル開発が進んでいく点は、メルペイの機械学習エンジニアとしてのオリジナリティを表現しているポイントと言えるかもしれません。
今回の取り組みにおいて、ビジネス志向を実現するための具体的な取り組みを列挙します。
- PoCにおいて、ビジネスKPIを意識した効果検証を行った
- エンジニア自らがPoCの結果報告を行い、モデル変更の意思決定に貢献した
- 与信枠計算ロジックの改定に伴い、与信モデルの活用を再定義し、ロジック適用にコミットした
- ビジネスチームを始めとする様々なチームとの協業、高頻度のコミュニケーション
おわりに
今回は機械学習エンジニアがビジネスと協力して、与信モデルの更新によりKPI改善を目指した事例を紹介しました。メルペイで行われている機械学習プロジェクトの雰囲気を伝えることができたら幸いです。
今後もお客さまに対してさらに適切な与信枠提供を実現するために、与信モデルの品質向上に努めてまいります。
