こんにちは、株式会社メルカリの研究開発組織「mercari R4D」で、ARとファッションテックをテーマに研究している@ashyanagisawaです。先月、5Gによる未来を紹介するイベント「KDDI 5G SUMMIT 2019」にて、MRグラス(以下、スマートグラス)「Nreal Light」とスマホの5Gを想定したフリマアプリ「メルカリ」(以下、メルカリ)のプロトタイプを展示しました。国内初登場「Nreal Light」のデモ開発と展示で得た情報を一挙大公開します。
目次
出展の目的
出展の主な目的は、以下3点の実証実験です。
- 購入検討者がメルカリの出品物を”友人に相談する”
- 購入検討者がメルカリの出品物を”あらゆる角度から確認する”
- 購入検討者がメルカリの出品物を”様々な環境下でスマートグラスを通して閲覧する”
1. 購入検討者がメルカリの出品物を”友人に相談する”
現状のメルカリは、以下の動画「スマートグラスに最適化したメルカリの類似商品検索アプリ」等で好みの出品物を見つけたとしても、友人に相談することができません。今回は実証実験用に、リアルタイムに情報を共有する機能を実装しました。
2. 購入検討者がメルカリの出品物を”あらゆる角度から確認する”
現状のメルカリは、出品者が出品時に入力した概要や写真のみで、購入検討者は出品物を判断します。今回は実証実験用に、スマホのカメラで得たデータを基に自動生成した3Dモデルを使用しました。
3. 購入検討者がメルカリの出品物を”様々な環境下でスマートグラスを通して閲覧する”
現状のメルカリは、スマホに最適化されていますが、スマートグラス等のウェアラブル端末には対応していません。今回は実証実験用に、スマホ版アプリだけでなく、様々な環境に対応したスマートグラス「Nreal Light」版も開発しました。
デモについて
実証実験する内容を踏まえ、「KDDI 5G SUMMIT 2019」で展示したデモは、以下シーンの11秒目「メルカリで画像検索した出品物の情報を友人に共有し、買い物相談する」の実現にしました。
今回は、上記のシーンを実現するにあたり、以下4つの視点に応じたデモを開発しています。
- 購入検討者と相談相手の物理的な距離が”遠い”
- スマホを持った購入検討者視点
- スマートグラスを掛けた相談相手視点
- 購入検討者と相談相手の物理的な距離が”近い”
- スマホを持った購入検討者視点
- スマートグラスを掛けた相談相手視点
購入検討者と相談相手の物理的な距離が”遠い”
「スマホを持った購入検討者は”自宅”、スマートグラスを掛けた相談相手は”屋外”に滞在している」シーンで、必要に応じて音声で買い物相談する方法を想定しています。
1. スマホを持った購入検討者視点
以下のデモ動画は、スマホを持った購入検討者視点の映像です。
タイムライン
- 0:00 「アプリを起動」 → ホーム画面を表示
- 0:01 「画像検索ボタンをタップ」 → 画像検索画面を表示
- 0:02 「探したいものをタップ」 → 画像検索で取得した類似商品情報を表示
- 0:04 「類似商品情報をタップ」 → タップした類似商品情報を表示
- 0:26 「共有ボタンをタップ」 → 表示中の類似商品情報一覧が相談相手に表示される
- 0:30 「類似商品情報をタップ」 → タップした類似商品情報が相談相手に共有される
AR機能で最も難関なのが、電池消費の激しいカメラを起動する程の合理性を購入検討者に提供できるかという点です。単純に、出品物の3Dモデルを表示するだけならば、画面上で3Dモデルを操作できれば良く、AR機能がそこまで求められていない事があります。
そこで、”目の前のもの”を知るために必要な「カメラを起動する画像検索」で類似商品を検索後、”目の前のもの”と比較するための3Dモデルを表示する形にしました。
2. スマートグラスを掛けた相談相手視点
以下のデモ動画は、スマートグラスを掛けた相談相手視点の映像です。
タイムライン
- 0:00 「アプリを起動」 → 待機画面を表示
- 0:11 「購入検討者が共有ボタンをタップ」 → 購入検討者の類似商品情報一覧が表示される
- 0:14 「購入検討者が類似商品情報をタップ」 → 購入検討者がタップした類似商品情報が共有される
- 0:17 「頭を左に回す」 → 左に表示された類似商品を閲覧
- 0:20 「前に動く」 → 特に変更なし
出品物の表示方法はスマートグラス装着者を”基準”に前方120度固定表示することで、今回の展示のような限られたスペースで幅広く使用できない環境だとしても閲覧可能になりました。閲覧方法は、頭を回す、または後述する「4. スマートグラスを掛けた相談相手視点」で話す3DoFコントローラーでスクロールすることを想定します。
今後を考えた場合は、Nreal Ltd.(以下、Nreal)が実装予定していたNRSDK内のハンドトラッキング機能で、スマートグラスを掛けた相談相手の手と同じ動作する手の3Dモデルを、購入検討者に表示する方法も良いかもしれません。この方法により、出品物の3Dモデルの特定箇所への指差しやグッドサイン、または掴む等の動作が可能になります。
また、多くのソーシャルVRアプリは、アバターの顔を表示していますが、買い物相談に特化する場合、手の動作と声、商品情報の共有だけで良いかもしれません。なぜなら、アバターの顔があると、出品物から顔に視線を向ける動作が発生するので、操作が複雑になります。
購入検討者と相談相手の物理的な距離が”近い”
「スマホを持った購入検討者の”隣”に、スマートグラスを掛けた相談相手がいる」シーンを想定しています。
スマホだけで実証実験する場合は、「購入検討者と相談相手の物理的な距離が、”遠い”」のみを考えていました。なぜなら、お互いの距離が近い場合は、スマホの画面を見せれば良いだけだからです。
しかし、スマートグラスはそうはいきません。スマートグラスを友人に貸している場合は自分が見えなかったり、友人は度の合わないレンズを通して視る可能性があります。
3. スマホを持った購入検討者視点
以下のデモ動画は、スマホを持った購入検討者視点の映像です。
タイムライン
- 0:00 「アプリを起動」 → ホーム画面を表示
- 0:02 「画像検索ボタンをタップ」 → 画像検索画面を表示
- 0:06 「探したいものをタップ」 → 画像検索で取得した類似商品情報を表示
- 0:10 「類似商品の3Dモデルをタップ」 → タップした類似商品情報を表示
- 0:33 「共有ボタンをタップ」 → 表示中の類似商品の一覧が相談相手に表示される
- 0:35 「類似商品の3Dモデルをタップ」 → タップした類似商品情報一覧が相談相手に共有される
お互いの距離が”遠い”場合と異なり、”近く”の人と相談するため、表示方法は端末の種類にかかわらず、共通です。
今回のデモで最も検討したのが、3Dモデルを表示する位置です。”探したいもの”を基準に上や横に表示する方法もあったのですが、今回は手前を採用しました。なぜなら、手前は類似画像検索時に”探したいもの”をカメラ内に入れるので、必ず自分と対象の間に空間が存在する、かつ前述した指差し等のハンドジェスチャーやトラッキング機能と相性が良いのが理由です。複数の3Dモデルを1列に表示する方法は、探しにくいので再考中。
4. スマートグラスを掛けた相談相手視点
以下のデモ動画は、スマートグラスを掛けた相談相手視点の映像です。
タイムライン
- 0:00 「アプリを起動」 → 待機画面を表示
- 0:05 「購入検討者が共有ボタンをタップ」 → 購入検討者の類似商品情報一覧が表示される
- 0:08 「購入検討者が類似商品情報をタップ」 → 購入検討者がタップした類似商品情報が共有される
「3. スマホを持った購入検討者視点」と表示方法は同じです。
Nreal Lightは、有線接続したスマホを3DoFコントローラーとして、以下の動画のような操作が可能ですが、来場者に短時間で複雑な操作を限られたスペース内で体験してもらうのは難しいと判断し、今回は使用していません。
Here's a glimpse of what you can do with the NRSDK 1.0 Beta, launching this week… pic.twitter.com/ejWLDLdD7c
— Nreal (@Nreal) July 17, 2019
なぜ5Gが必要なのか
5Gは、以下3点の特徴を持っていますので、今回のデモで必要な理由と共に記載します。
1. 高速大容量
フリマの出品物には、色落ちや傷等があり、新品より”あらゆる角度から確認する”必要性があります。これが可能になる高精細な3Dモデルを画像と同程度の速度でダウンロードできるようになるかもしれません。
2. 低遅延
購入検討者と相談相手の情報が、対面でのコミュニケーションと変わりなく共有できるようにかもしれません。
3. 多接続
買い物相談は、1対1である必要性はないので、世界中に住む人々と繋がり、コミュニケーションできるようになるかもしれません。
なぜNreal Lightを選んだのか
Nreal Lightを選んだ主な理由は、以下3点のメリットによる端末普及率の増加が見込めるからです。
1. 価格が安い
Nreal Lightは、一般向けが499ドルで2020年の初旬に発売予定です。既に一般普及しているスマホ等に大部分の処理を任せる方法で、低価格化が実現しています。
2. 技適を取得する必要がない
Nreal Lightは、有線接続したスマホ(技適取得済み)等で無線通信するので、海外端末の日本市場参入への大きな壁の一つである技適を取得する必要がありません。
3. 過去に開発したスマホアプリの資産を活用できる
処理の大部分はスマホなので既存のスマホアプリと互換性を持つ可能性が高く、機能を作り変える必要がありません。
なぜKDDI株式会社の実証実験パートナーになったのか
大手通信事業社であるKDDI株式会社(以下、KDDI)は、Nrealと戦略的パートナーシップを締結し、Nreal Lightをベースに、日本国内利用に向けた対応のサポートを進めています。もしKDDIが、5G対応スマホとスマートグラスを一緒に提供することになった場合、一般へ普及する可能性が最も高いと考えました。
今後の予定
現状のスマートグラスは、「ビジネス」や「エンタメ」向けに特化して使用される機会が多く、一般の方が日常使いすることを目指したアプリは、ほとんどありません。なぜなら、上記の用途ではあまり問題視されない「1. プライバシーの尊重」や「2. 端末の普及率」、「3. 環境に対するロバスト性」等の課題が含まれるからです。
以上3点の課題に対して、mercari R4Dで昨年10月から様々な取り組みをしてきましたが、試行錯誤中であり、スマートグラスの一般普及には、まだ時間がかかる想定です。
1. プライバシーの尊重
2. 端末の普及率
3. 環境に対するロバスト性
- 今回の出展目的の一つである「 購入検討者がメルカリの出品物を、”様々な環境下でスマートグラスを通して閲覧する”」
今後も、一般の方向けのARアプリ開発を進めるだけではなく、定期的に研究成果も発表することで、スマートグラスの一般普及へ貢献していきたいと考えています。
