2022年1月26日に、『Mercari ML&Search Talk #2 ~Customer Understanding~』 を開催しました。
この記事はイベントレポートです。配信当日の内容を簡単に紹介します！ 詳しくはYouTube上にある配信アーカイブ動画をご視聴ください（英語になります）。
イベント概要
メルカリのミッションを実現するため、複数のチームがMLを応用したプロダクトの企画、開発、分析を進めています。「Mercari ML&Search Talk」と題した一連のイベントでは、PMやMLエンジニアがメルカリで使われている技術やその応用について発表します。また、その後の質疑応答で発表の内容やみなさまから事前に頂いた質問について深堀りしていきます！
第2回は、お客さま理解のためのMLをメインテーマとして紹介させていただきます。メルカリでは、お客さまの属性・行動等をMLで推定することによって、より良いマーケティング施策やお問い合わせ対応を目指しています。その一端をご紹介できればと思っています。
イベント詳細はイベントページを参照してください。
Mercari ML&Search Talk #2 ~Customer Understanding~
登壇者
今回の登壇者は、以下の3名です。
Lennart Jedele @Lennart
@LennartはTableauのプロダクトコンサルタントとしてキャリアをスタートし、様々な業界のクライアントと共に、データを使った課題解決に取り組んできました。その後、オンラインマーケティングを専門とする楽天AdRollでプロダクトマネージャーとなり、アドテク業界のプロダクトを構築してきました。メルカリには2021年10月に入社し、現在はマーケティング課題におけるデータサイエンス適用をリードしています。
Yilin Li @Yilin
@Yilin は2019年4月にメルカリに入社しました。統計学やML、数理最適化などを用いたマーケティングにおけるデータサイエンスの応用を担当しています。
Kengo Arao @karolis
@karolis はUCLでMLのMScを修了後、2020年10月にメルカリに入社しました。主な研究はEmbedding（埋め込み）に関するものです。
Prashant Anand @prashant
@prashant は2019年にメルカリへ入社しました。専門は応用機械学習です。Twitterアカウントは @primaprashant です。
顧客エンゲージメントを高めるメルカリのデータサイエンス活用方法（@Lennart）
YouTubeの動画は9:14からになります。
@Lennartはデータサイエンスチームとして、マーケティングチームと共同してどのように顧客エンゲージメントを高めているかについてお話ししました。
お話ししたのは以下の2つのトピックになります。
- AAARR
- ユースケース
AAARR
AAARRはマーケティングのファネルで、次のようになります。（AAARRはメルカリ特有のものではありません）
上のステージではお客様が多く、下になるほどお客様が絞られていく代わりにメルカリとの関連性は増しています。マーケティングとしてはなるべく多くの方にファネルへ入ってもらうことを目指し、次のステージに入ってくれる方を増やしていくのもゴールになります。
- Awareness: メルカリを知ってもらう（テレビのCM、YouTube広告など）
- Acquisition: メルカリに登録してくれる（新規ユーザ登録をKPIとしている）
- Activation: モノを買う、モノを売る。メルペイで支払うなど（購入、出品数など）
- Retention: 継続的に使ってくれる
- Referral: 紹介（紹介者、紹介された人にポイント付与など）
データサイエンスチームでは主にActivationとRetentionに注目しています。それに合わせてキャンペーンを打ったり、マーケティングチームと密に連携して進めています。
ユースケース
ユースケースとして、以下の3つを紹介しました。実際に行っている分析や施策内容、その結果について紹介しています。
- ユーザー離脱の予測
- クーポンコストの最適化
- Eメールのリターゲティング
これからの取り組み
これからの予定として、AcquisitionとReferralへの取り組みを強化します。
MLと数理最適化を用いたパーソナライズキャンペーンプロモーション（@Yilin）
YouTubeの動画は38:30からになります。
@Yilinからは以下の2つのトピックでお話ししました。
- 数理最適化の定義
- キャンペーンプロモーションでの活用について
数理最適化の定義
数理最適化とは、複数の選択肢から最も良いオプションを探すのがゴールになります。基本的な流れは次の通りです。
- 問題定義
- モデルの作成
- モデルの解決
- 評価
簡単な例としては以下の2つを紹介しました。
- ルート最適化
配達時の最適なルートを見つける - リュックサック問題
様々な重さと価値を持ったモノをどう選択すれば良いかを見つける
キャンペーンプロモーションでの活用について
ここでは以下の3つのセクションに分けてお話ししました。
- 背景とビジネス要件
- 解決したい問題
- 解決策について
お客様の離脱を防止するためにクーポンを発行し、その効果を計ります。クーポン発行には予算があり、その予算に応じて最適な結果が求められます。まず10月にキャンペーンを実施しました。クーポンは複数種類あり、ランダムに配布しています。11月にはセグメントしたグループごとにクーポンを発行しました。そして、その結果を基にオフラインで数理最適化を行ったグラフが下記になります。
なお11月については線形計画法、12月についてはMLのデータモデルを使って整数計画法を用いています。
数理最適化を用いることで、制約がある中での最適化が可能になります。
セッションに関していただいた質問は次のようになっています（動画は〜58:15）。
- まずお客様のセグメンテーションを行い、その後で機械学習を使うという理解で正しいでしょうか？機械学習で分けるのではなく。
メルカリのカスタマーサポート業務をスケールさせるML活用（@karolis & @prashant）
YouTubeの動画は1:01:05からになります。
@karolis と @prashantからは以下の4つのトピックについてお話ししました。
- チームについて
- MLとNLPを用いたカスタマーサポートの改善
- MLマイクロサービスの構築
- 今後の計画と方針
チームについて
お客様の問題に対していち早く回答するのがカスタマーサポートの役割になります。そのためにMLを活用しています。実際のプロジェクトの実例を紹介しました。
- 一般的な質問に対する自動返答
- カスタマーサポート担当者の回答をサポート
- 質問を適切なカスタマーサポート担当者へ振り分ける
MLとNLPを用いたカスタマーサポートの改善
問い合わせにはメタデータ（カテゴリー、ユーザー、商品）と問い合わせ本文があります。最初はルールベースのアプローチを行い、次にMLのモデルを使って分析します。本文は自然言語処理を用いて分析しています。
ビジネス的な課題は、お問い合わせに回答するのに多くの時間がかかるということです。UXを向上させるためにも回答までの時間を短くする必要があります。回答にはテンプレートが用いられているので、お問い合わせに応じて最適なテンプレートをMLによって選択します。
実験的に取り組んだのが次元削減になります。アーキテクチャはCNNを用い、テキストの分類を行いました。元々次元は300ありましたが、実験の結果100次元で80%の情報が得られることが分かりました。これによって学習や推論する際のパラメータの数が66%程度削減されました。しかし、それでもなお推論結果が改善された時もあります。
MLマイクロサービスの構築
ビジネスの問題を解決するために、APIを構築します。その際、最初はMLのモデルを使わずに簡単なルールベースのアプローチで構築します。その状態で他のシステムと連携できるかを確認します。その後、MLのモデルを組み込んでシステムを稼働します。
次に監視を導入し、正しく予測できるかを確認します。そして必要に応じてモデルを再訓練します。
今後の計画と方針
ビジネス上の課題は、MLを使ってカスタマーサポートを改善するという点において変わりません。まずベースラインでアプローチし、その後MLを用いて改善を進めていきます。とはいえ必要に応じてML以外のアプローチを取ることもあります。一番大事なのは正しく計測し、正しくテストを行うことです。
一例としてカスタマーサポート担当者の割り振りについて紹介しました。詳細はAssisting Customer Support Agents by Providing Suggestions for Reply Templatesに掲載しています。
質問
全セッションが終わった後に質疑応答を行いました。いただいた質問の中で、動画中で答えているものは以下になります（動画は[1:22:27]](https://youtu.be/DnebRZmMuJI?t=4947)〜）。
- 季節的な変化をMLのモデルに考慮していますか？
- ランダムにクーポンを選ぶのではなく、ユーザーにクーポンを選んでもらうのはどうでしょうか？
- 英語版のメルカリは出ますか？
- ABテストのベストプラクティス、課題はありますか？
- 離脱の変換について教えてください
最後に
メルカリグループはTech Talk をはじめとしたエンジニア向けのイベントを定期的に開催しています。イベント開催案内を受け取りたい方は、ぜひconnpassグループのメンバーになってください！
また、次回の「Mercari ML&Search Talk」は、MLOps & Platformと題しまして、MLやSearchに関係する基盤をメインテーマとして紹介します。ぜひぜひご参加ください！
