この記事は、Merpay Tech Openness Month 2020 の15日目の記事です。
こんにちは。メルペイの機械学習エンジニアのshuukです。
今回は、機械学習の社会実装というテーマで寄稿させていただきます。
機械学習モデルを構築することと、構築したモデルがお客さまやビジネスの役に立つことの間には、大きなギャップがあります。
これは、機械学習プロダクトが価値を発揮するにはモデルの精度以外にもさまざまな観点が存在するためです。
ここでは、メルペイスマート払いという与信サービスの裏側で稼働している与信モデルを活用する上で、実践していることについて記述していきます。
メルペイスマート払いと与信モデリング
メルペイスマート払いとは
メルペイスマート払いはクレジットカードに類似した少額・短期の与信サービス(※)で、次のような特徴を持っています。
- メルカリまたはメルペイの利用分の精算を、翌月以降に遅らせることができる
- 遅らせることのできる額の上限は、付与された与信枠の範囲内でご自身で設定できる
- 与信枠の決定には、機械学習モデルが用いられている
既存の与信サービスに対してユニークな点としては、メルカリ・メルペイ上での取引や決済等のトランザクションを用いることで、メルカリ・メルペイを丁寧に使いこなされているお客さまほど、大きな与信枠を提供できるという点です。
これは、「信用を創造しなめらかな社会を作る」という弊社のミッションの実践例の一つとなっております。
※お客さまへの信用をもとに、金銭やものを先に貸与し、期限までに返済いただくサービス
与信モデリングに期待される観点
メルペイスマート払いの与信枠の決定に関わる機械学習モデル（以下：与信モデル）には、大きく分けて３つの観点からの期待が存在します。
お客さま観点
- ご自身のキャッシュフローへの影響もあることから、付与される与信枠に相応の納得感があること
利用者保護・不正防止観点
- 金融機関として適切な与信が行われていること
- マネーロンダリング等への不正対策が行われていること
ビジネス観点
- モデル精度改善に伴う利用額と精算率（利用額に占める期限内の精算額の割合）の増加
- 高い精算率をキープできるような与信ができれば、お客さまも安心して毎月ご利用いただける
これらの観点を総合的にカバーするためには、単に˛予測精度の高い与信モデルを構築する以外にもさまざまな取り組みを行う必要があります。
以下に、一般的な機械学習プロジェクトのフェーズに沿って、実践していることを記載します。
ビジネスゴールを意識して与信モデルを設計する
KPIを意識して解きたい問題を決定する
まず、会社の何のKPIを改善するのかを決定します。
与信モデルの場合、目標とするKPIは「利用額」「精算率」の2つがあります。
メルペイスマート払いをできるだけ多くのお客さまにご利用いただき利用額を増やしつつも、それぞれのお客さまがきちんと精算いただけるような適切な与信枠にする必要があります。
利用額と精算率を同時に向上するためには、より高い確率で精算してくださるお客さまに、高い与信を行うことが重要です。
そのため、「メルペイスマート払いを利用したときの精算有無の分類」が、与信モデルに与えられる問題設定となります。
「どのようなお客さまに最適化したいか」を考えて学習データを絞り込む
与信モデルを構築するに際し、学習データの絞り込みも、ビジネス接続のためには重要となります。
この際、お客さまの便益やビジネスの目的に照らし合わせて「どのようなお客さまに最適化したいか」を考える必要があります。
メルペイスマート払いでは、下記のような絞り込みを行っています。
定着してくださっているお客さまに最適化する
メルペイを日常的に利用してくださるお客さまにより多くの便益を提供できるようにしたいとの考えから、お客さまの定着度を定義し、定着度の高いお客さまにより最適化するようにデータの絞り込みを行っています。
一定以上の与信枠のお客さまに最適化する
目標とするKPIの一つに、メルペイスマート払いの利用額があります。
そのため、メルペイスマート払いをより多くご利用くださるお客さまに最適化するために、一定以上の与信枠のお客さまだけに学習データを絞り込んでいます。
特徴量選定に精度以外の観点を盛り込む
特徴量を作成するにあたっては、単に与信モデルの精度に貢献するかだけでなく、社会的要請やサービス特性に配慮した上で下記のような基準を設けています。
コンプライアンスに準拠しているか
個人情報保護法、通信の秘密といった法的要請に適っている特徴量だけを採用しています。
差別を助長するおそれがないか
性別等の差別につながる恐れがある情報は、採用していません。
メルペイの与信モデルは、固定的な属性情報よりも行動の積み重ねを重視しています。
短期間で急変動しないか
与信枠が毎月のように変動すると、お客さまのUXに悪影響があるため、短期間で激変するような不安定な特徴量は避けています。
ハックしづらいか
お客さまの意図で与信枠を簡単に上げ下げできてしまうと、信頼性の高い与信を行うことが難しくなります。
そのため、いつでも変更できる自由入力可能なデータ等、与信モデルのハックにつながる特徴量は採用していません。
メルカリ・メルペイを丁寧に使いこなしていることを表しているか
メルペイスマート払いの根幹には、「メルカリ・メルペイを丁寧に使いこなしている方に、大きく与信したい」という思想があります。
そのため、たとえ精度に貢献する特徴量であっても、上記の思想を反映しているものでなければ、採用を見送ることがあります。
後処理でUXの品質と不正対策を担保する
与信モデルが算出した出力値は、そのまま使われるわけではなく、何段階かの後処理が施されます。
与信モデルはKPIの最適化には貢献しますが、UXの品質や不正対策といった観点をカバーすることができないため、出力値をルールベースで補正する必要があります。
スムージング
モデルの出力する与信枠は、お客さまによっては時系列で大きく変動する場合があります。
原因としては、下記が挙げられます。
- お客さまの十分なトランザクションが蓄積されていない
- 入力データの分布が変わって出力値の分布自体が変わった場合
毎月与信枠が上下すると使いづらいので、モデルの出力にスムージングをかけることで、急激な与信枠変動を抑制しています
インシデント起因による不当な与信枠の是正
メルペイは高い可用性を保ちつつサービス稼働していますが、時としてインシデントが起きてしまうことはあります。
特に、メルペイスマート払いの精算に関するインシデントが起きると、特徴量にも想定外の影響が及んでしまうことがあります。
与信モデリングの後処理には、このような場合にお客さまに不当に低い与信枠を付与しないようにするための是正処理が入っています。
メルペイスマート払いを丁寧に利用されているお客さまの与信枠を下げない
メルペイスマート払いをきちんと精算しているにも関わらず、与信モデルの出力値が悪くなってしまうという現象が、お客さまによっては起きることがあります。
こういうことが起きる原因には、スマート払い利用以外の特徴量の分布の変化や、学習データ全体の分布の変化等、さまざまなものが存在します。
しかしこれはモデル側の都合であり、お客さまにとっては「きちんと精算しているのに与信枠が下がった」という納得感の低い体験が発生してしまいます。
そこで、精算状況等を鑑みてメルペイスマート払いを丁寧にご利用頂けているお客さまを定義し、そのお客さまに関してはモデルの出力値に関わらず、与信枠が下がらないようにする処理を行っています。
高い予測精度を出すことが難しい場合のケア
機械学習モデルは、データの分布によってはある一部のお客さまに関して信頼性の高い予測をすることが難しい場合が存在します。
そのため、そのようなお客さまに関しては、ルールベースで与信ロジックを補助しています。
不正アカウントへの制限
メルカリ・メルペイは、マネーロンダリング等の不正な利用を防ぐべく、厳正な対処を行っています。
メルペイのMicro Serviceの1つに、不正な行動を検知するAML Serviceが存在します。
AML Serviceが検知した不正なアカウントに対し、与信モデル側でも適切な与信枠の制限を行っています。
社会実装への取り組みに終わりはない
社会実装のための取り組みについて書いてきましたが、これら全てをリリース当初から行っていたわけではありません。
お客さまからのフィードバックやFintech業界を取り巻く環境の変化等を受け、社内で議論しながら一つ一つ取り組んできたものです。
お客さまのニーズや社会の状況は今この時も激しく変化していますので、今後とも継続的に社会実装への取り組みは続いていくことになると思います。
