2021年12月15日に、『Mercari ML&Search Talk #1 ~Personalization~』 を開催しました。
この記事はイベントレポートです。配信当日の内容を簡単に紹介します！ 詳しくはYouTube上にある配信アーカイブ動画をご視聴ください。
イベント概要
メルカリのミッションを実現するため、複数のチームがMLを応用したプロダクトの企画、開発、分析を進めています。「Mercari ML&Search Talk」と題した一連のイベントでは、ML、Searchエンジニアやプロダクトマネージャー(PM)がメルカリで使われている技術やその応用について発表します。また、その後の質疑応答で発表の内容やみなさまから事前に頂いた質問について深堀りしていきます！
第1回は、PersonalizationとSearchをメインテーマとして紹介させていただきます。メルカリ上での売り買いを促進するため、様々なアプローチの開発・検証を進めています。その一端をご紹介できればと思っています。
イベント詳細はイベントページを参照してください。
Mercari ML&Search Talk #1 ~Personalization~
登壇者
今回の登壇者は、以下の3名です。
古澤智裕 @furufuru（プロダクトマネージャー兼エンジニア from Discoveryチーム）
大学時代の研究テーマである図書館情報学をバックグランドとして、卒業後は情報検索や情報推薦のプロダクト開発に従事。2019年より株式会社メルカリに入社し検索評価に取り組み、その後PMとしてレコメンデーションチームの立ち上げを経て、現在はメルカリ全体のディスカバリー体験の改善を推進している。
金井 佑真@yuu （プロダクトマネージャー from Searchチーム）
2018.5にPMとしてメルカリ検索チームに入社。日々エンジニアと検索改善についてディスカッションし、改善の仮説立てからその検証までをPMとしてリードする。
和田 悠佑 @y-wada （ソフトウェアエンジニア from Searchチーム）
2019.02 に入社．Data Analyst として働いていたが自分の手で直接機能改善を行いたくなり 2021.01 より検索チームのエンジニアとして，QAC の改善を行っている
ホーム画面レイアウトのパーソナライゼーション （@furufuru）
YouTubeの動画は11:48からになります。
@furufuru からはホーム画面レイアウトのパーソナライゼーションというテーマでお話しました。所属するDiscoveryチームの主なミッションは、ホーム画面の全体のパーソナライゼーションとレイアウトの最適化、そしてレコメンドコンポーネントの改善となっています。そしてセッションの中では、ホーム画面のレイアウト改善を支える仕組みと、ホーム画面パーソナライゼーションの取り組みを紹介させてもらいました。
メルカリアプリではモノリシック時代、モジュラー化、パーソナライズ基盤と時代を追って進化してきました。進化する中でもそれぞれに課題感があり、さらに改善を進めています。現在はレイアウトを最適化するマイクロサービスを開発し、お客さまごとのレイアウト出し分け（パーソナライズ）を一元管理できるようになっています。このモジュラー化とパーソナライズ化は、ホーム画面のレイアウト改善を進める上でのキーワードとなっています。
レイアウトの自由度が高くなる中での課題は、バンディットアルゴリズムの導入によって改善を行っています。実際にバンディットアルゴリズムを用いた実験とレイアウト決定についてはセッション動画をぜひご覧ください。
セッションに関していただいた質問は次のようになっています（動画は32:48〜）。
- optimizerでどこまで自動化し、どこまでキャンペーンは上にしたいなど、人の意思を入れられるのか気になります。
- layout optimizerに対する政治的な要求ってどうやって排除しているんですか？
- コンポーネントの種類やサイズ、目的数が違う場合、フェアにどう評価するのか気になります。
- 各コンポーネントの目的（広告売上、流通額、CSVなど）と、layout optimizerの目的（タップ率など）が異なるケースで、layout optimizerがどう動くのか気になりました。うまくやらないと、広告売上モジュールが永遠に提出されなくなったりするのでしょうか？
メルカリ商品検索のマッチング改善（@yuu）
YouTubeの動画は38:18からになります。
@yuuからはメルカリ商品検索のマッチング改善というテーマでお話ししました。主にお話ししたトピックは次の通りです。
- 検索改善は一粒で二度美味しい
- 一年で41個ABテストを実施したらわかったこと
- 3つの注力ポイント
- チームについて
メルカリにおける検索エンジンは、一つのマッチング（購入/売却）で二人が幸せになるマッチングエンジンと言えます。そこで検索チームではマッチング数の最大化と、結果としての継続率の向上を目指しています。
ABテストの結果については良い結果が15個、悪い結果が11個、中立的な結果が11個となっており、その割合は他社（Microsoft社やGoogle社）と比べても遜色ない（Google社よりは良い）結果となっています。ただ、これはプロダクトとしての成熟度も大きく関わっているはずであり、単純な比較は難しいと考えられます。なりより大事なのはお客さまのフィードバックや開発者の考えを正しく検証するために、ABテストを用いた仮説検証を実施することです。
今後の注力ポイントとして、以下の3つを挙げています。
- Query understanding / Item understanding
- 検索体験をカテゴリー毎に最適化
- ML / Personalization
最後に検索チームの特徴を紹介しました。仮説を立てて検証して、振り返るのが好きな人におすすめです。
セッションに関していただいた質問は次のようになっています（動画は1:02:46〜）。
- 欲しいものを検索したとき、そのジャンルとは関係のない、たぶん出品者の恣意的なタグ付けによる、ノイズ的な品物が大量に表示されることがよくあります。こういう〝ノイズ〟を排除できるような、検索手法の改善は考えていらっしゃいませんか
Query Auto-Completion の改善活動の紹介（@y-wada）
YouTubeの動画は1:04:15からになります。
@y-wadaからはQuery Auto-Completion（以下QAC） の改善活動の紹介というテーマでお話しました。主にお話ししたのはQACの改善活動についてで、ABテストの事例を交えて紹介しました。QACというのは検索キーワードの入力補助機能になります。
QACのマイクロサービスアーキテクチャは次の3つに分かれています。
- Universal Control Group
- 古いロジックを長期的に動作させる
- Stable Group
- 最新のロジックを動作させる（ABテストの対照群）
- Experiment Group
- ABテストの処置群として用いる
QACの改善目標はGMV（流通取引総額）の増加となっています。状況としては、実装コストの小さいテストで改善の方向性を模索しています。実際、Universal Control Groupとの差分を見ると、改善後の方がGMVに寄与しています。
ABテストの事例として紹介したのは、1タームクエリの優先順位に関するものです。ABテストを通じて、事前想定に誤りがあったことを学んでいます。そうした結果を踏まえて、今期はQACの改善に繋がることも見据えて、検索本体の改善に着手しています。
最後にメルカリの検索領域とMLについて紹介しました。まだまだ伸び代が多い一方、ML導入にあたっての課題も見えてきています。そうした中で、短期間での顧客理解と改善方針の修正が必要になっています。
セッションに関していただいた質問は次のようになっています（動画は1:22:17〜）。
- テスト、ステーブル、ユニバーサルという話は、QACに限った話ですか？それとも検索全般のロジックの話ですか？
- 直接関係ない話ですが、 Universal Control Group に割り当てられるユーザはどこかのタイミングで変わるのでしょうか？(ずっと Universal Control Group が割り当てられていると嬉しくなさそうな気がするため)
最後に
メルカリグループはTech Talk をはじめとしたエンジニア向けのイベントを定期的に開催しています。イベント開催案内を受け取りたい方は、connpassグループのメンバーになってくださいね！
また、次回の「Mercari ML&Search Talk」は、Customer Understandingと題しまして、マーケティングやカスタマサポートでのML応用事例について話します。ぜひぜひご参加ください！
