株式会社メルカリのAR研究職から転職しました

　こんにちは、Ash (@ashyanagisawa) です。私は株式会社メルカリの研究開発組織「mercari R4D」でARとファッションテックの研究していました。 

mercari R4D*1
R4Dは研究(Research)と4つのD、設計(Design)・開発(Development)・実装(Deployment)・破壊(Disruption)を意味し、 スピーディーな研究開発と社会実装を目的としています。

この転職エントリは過去と現在、未来を踏まえ、「AR研究職から転職*2に至った経緯」を記載しています。ARに関わる多くの方のお役に立てば嬉しいです。

本エントリは所属企業の認可済み。
 

▼ 目次 

メルカリに入社した理由

　私がメルカリに入社したのは「ウェアラブル端末の1つであるスマートグラスの一般普及に貢献すること」でした。

前職はARアプリ開発とデータサイエンスに特化したソリューション提供企業「ナレッジワークス株式会社」。3年間 (在籍期間) の前半はスマホとスマートグラスの一般向けARアプリ、後半は企業向けを開発していました。

ナレッジワークス株式会社のパートナー (一部)*3

転職を考え始めたきっかけは最新端末や技術の登場です。

３つのきっかけ

• HoloLens
• Vuzix Blade
• ARKit

もし各々のメリットが組み合わさり、以下の3つが解決した場合、スマートグラスは一般普及すると考えました。　

3つの必要な事柄

1. ハードウェア :
   HoloLensと同機能を持ったVuzix Bladeと同サイズのスマートグラスの登場
2. ソフトウェア :
   スマートグラス固有の問題解決
3. コミュニティ :
   ARのSDKによるスマートグラスアプリの増加

しかし、ソリューション提供企業 (多くのアプリを開発できて楽しかった) は、企業向けスマートグラスのアプリは開発できても、普及してもいない一般向けスマートグラスのアプリを開発することはできません。そこで、XR研究職を探してみたら、一般向けアプリを提供するメルカリの求人を発見。

ikkou / いっこう (@ikkou) さんとOculus GoにインストールしたOculus RoomsでVR面接して入社しました。VR面接中にリバーシで遊んだことは今でも忘れません。

内側から見たメルカリ

　メルカリのカルチャーは「Trust & Openness *4」。メルカリから多くのサービスが生まれたのは、情報が社内に公開されている、かつ必要以上にルールを設けない文化が要因だと思います。私を含む全社員がOKR*5で決めた「Go Bold」な内容に取り組む事ができる環境でした。しかし、従来の企業と異なりルールは少なく変化も激しいので、自己管理能力が問われます。

Trust & Openness
メルカリは相互の信頼関係を大切にしています。信頼を前提にしているからこそ、情報の透明性が保たれ、組織もフラットに構築。メンバーを縛るルールも必要以上に設けていません。一人ひとりの自発的な思考や行動が、個人の成長や組織の強さにつながると信じているからです。

ちなみに、メルカリのSlack上は公開すべき情報に「オープンネスくれ」と対応するのが恒例です。これでメルカリ通になりましたね。

メルカリは福利厚生 (ベネフィット) が充実しています。私が最も活用していたのは「語学学習サポート」の1つであるDMM英会話の無料受講。私の場合、メールやビデオチャットは日本語より英語を使う機会が多かったので、毎日講師から事前にアドバイスや添削 (内容は伏せた状態) して頂いていました。

DMM英会話を受講している方はご存知かもしれませんが、私はメルカリに入社してレジェンドになりました。

AR研究職の1年間

　過去を振り替えると多くの経験を得た1年でした。1年間を2ヶ月毎に区切って、掻い摘んで振り返ります。「ウェアラブル端末の1つであるスマートグラスの一般普及に貢献すること」に必要な事を考え取り組んでいたら、膨大な経験値になりました。

膨大な経験値

• 企画立案
• 仕様設計
• UI/UXデザイン
• プロトタイプ開発
• 製品開発
• アプリ公開
• PV制作依頼
• プロジェクト管理
• 国内外のPR戦略
• 国内外の市場調査
• 国内外の契約関連
• 国内外の特許出願
• 国内外のプレスリリース草案作成
• 国内外の展示会準備
• 国内外の展示会アテンド
• (もっとある)

2018/10 - 2018/11 : メルカリ入社

私の入社日は外国籍を含めた約100人の同期ができることからスタート。15人以上の規模の企業で働いた経験のない私にとって衝撃でした。メルカリが持つ勢いに圧倒されながらも、わくわくしたことを覚えてます。海外勢が注目を浴びすぎていて、集合写真に顔すら写ってない。

入社後は研究対象の絞り込みから始めました。私の研究対象であった5件のうち4件をメルカリから成果を発表できたことは満足しています。

研究対象

• スマートグラスに最適化したメルカリ
• (2019/03に休止した研究)
• AR計測
• フォトグラメトリ
• WebAR

「スマートグラスに最適化したメルカリ」の以下企画書*6を作成後、承諾を得てCEATEC 2018*7のODG R-9を展示した「KDDI株式会社」とVuzix Bladeを展示した「Vuzix Corp.」に伺い、研究を始めました。

スマートグラスに最適化したメルカリ
Appleがスマートグラスを発売した場合に備えて、スマートグラスに最適化されたメルカリアプリのUI/UX研究を取り組む。
Vuzix Bladeはカメラとスクリーンを持った既存のスマホと連携する唯一の屋内外用コンシューマー向けスマートグラス。世界最大規模の家電見本市CES 2018にて Innovations Awardsで4つの賞を獲得し2017年10月に世界で話題になりました。HoloLensやMagicLeap、ODG R-9とは違い、機能を最低限にすることでコンパクト化に成功しています。
Appleはスマートグラスを2020年頃に発表する可能性があり、AirPodsやApple WatchなどのiPhoneと連携するデバイスやShared Experiencesなどの近距離通信の研究を積極的に取り組んでいます。Apple製の構成予想はVuzix Bladeと同じく、スマホと連携して力を発揮する端末。

2018/12 - 2019/01 : Vuzix Bladeアプリの実証実験

「スマートグラスに最適化したメルカリ」の研究成果をプレスリリースで発表することにしました。プレスリリースの内容は面白いと思ってもらえるように、様々な要素を加えてます。反響は想像以上で、約100社の国内外メディアに取り上げていただきました。

追加要素

• プロモーションビデオ (PV) の作成
• PVはYouTubeの字幕機能で多言語対応
• ARではなくAIを中心に文章を構成
• 特許出願した技術の内容を追加
• 日本語版はメルカリ、英語版はVuzix Corp.から配信
• CES 2019*8に出展

CES 2019に展示したARスマートグラス「Vuzix Blade」のアプリは、ハンドジェスチャを起点に端末内のみで画像検索とお気に入り登録が可能です。スマートグラス開発者の反響も良く、多くの取引先を得ることができました。なお、アプリはAndroidベースで動作するので、移植は容易です。

Mercari Lens Ver.0.0.1*9

CES 2019は多くのスマートグラスが登場した初めての展示会でした。来年は更に多くのスマートグラスが登場することが予想されるので、参加はマストかもしれません。

 展示していたスマートグラス

• Nreal Light
• Letin AR
• OrCam
• Focals
• VPS 19
• Vuzix Blade
• DigiLens Crystal
• Rokid Glass
• Rokid Aurora 

2019/02 - 2019/03 : MVP賞の結果

「スマートグラスに最適化したメルカリ」の研究成果を発表しましたが、社内の2019年1〜3月期のValue賞とMVP賞*10は受賞ならず。

さすがはメルカリ。みんな強い。

2019/04 - 2019/05 : Vuzix Bladeアプリの公開

「スマートグラスに最適化したメルカリ」の研究成果をMercari Lensのベータ版としてVuzix App Storeに公開しました。人さし指を指すことで、メルカリの全アイテムを検索することができるだけでなく、使用者のプライバシー保護の工夫も施しています。

Mercari Lens Ver.0.1.2*11

「Mercari Lensのベータ版公開」はNews Picksで「メルカリの折り込みチラシ」の333Picks*12を超える417Picksという偉業を達成しました。News Picksに多くの方にコメントをいただきました (ありがとうございます！) ので、1件だけ回答します。現状、実用性はありません。実用性を高める実装方法は把握しているのですが、スマートグラスはスマホと異なりスペックが足りないので、現状は特定の環境下でのみ効果を発揮します。

「AR計測」は11月の時点で他の研究に集中するため、他部署に実装方法だけ共有しました。上手く昇華して1ヶ月間でMagic Leap Oneのプロトタイプを実装したのが、2019/04に新卒入社した ARヒノボル (@liketableteninu) さん。もう脱帽ものですね。同じくAWE USA 2019に展示してました。

ML1で服のサイズを計測するアプリの特許出願が完了したので，動画を公開します．
アプリ内でカメラを使っているためキャプチャ機能は使えずスマホでレンズ越しに撮影したもののため若干見にくいですが．．．https://t.co/jGaUhmorlm pic.twitter.com/bDrI10P3EE

— ARヒノボル@仕事不安よな、動きます (@liketableteninu) August 16, 2019

2019/06 - 2019/07 : Nreal Lightアプリの実証実験

「フォトグラメトリ」の研究成果の発表でした。スマホのカメラで取得したデータを活用して、3Dモデルを生成しています。ユーザー同士が屋内外で買い物の相談 (ARで空間や3Dモデルを共有したコミュニケーション) できるプロトタイプの開発期間はユーザー間の非同期通信を含め、Nreal Light (Dev KitとConsumer Kit) とスマホが到着してから1週間程度。約40社の国内メディアに取り上げていただきました。

2019/08 - 2019/09 : スマートグラスを使ったメルカリの出品物を購入する実証実験

既にメルカリの出品物をVuzix Bladeで購入できるのはご存知だったでしょうか。

実は、スマートグラス「Vuzix Blade」のWebブラウザをBluetooth接続したスマホで操作して、出品物を購入できます。Vuzix Corp.がVuzix BladeをBluetooth接続したスマホで操作する機能「Virtual Trackpad*13」を公開したことで、利便性が大幅に向上しました。
是非、Vuzix Bladeをお持ちの方は、Firefox Focus*14 (Webブラウザアプリ) をインストールして、WebARで購入してみてください！

転職した理由

ARは実装段階に入った。

　この一言にかぎります。ARクラウド等はARの研究対象になりえますが、他のARが実装 (企業に貢献) できる段階になったので取り組みたいと思いました。ARはガートナーのハイプ・サイクルによると、2018年は幻滅期に存在しますが、2019年は「先進テクノロジ」ではなくなり、代わりにARクラウドが登場しています。

2018年*15     |     2019年*16

 
ARコンテンツの制作はSnapchatやFacebookにより、プログラミング知識を持たなくても作成することが可能になりました。また、ARアプリ開発も同様にAppleやGoogle、Unityによって民主化され、気軽にアプリ開発できます。AR作品はSnapchatの公認ARクリエイターである 青絵 (@aoepng) さんが抜きん出てましたね。

憧れのジョジョのような『スタンド』を手に入れた

カメラが顔を認識するとキャラが背後に出現し、顔を動かせば同じ方角に構える。

口を開き雄叫びを上げればキャラが反応し、炎の攻撃を繰り出します

キャラ・エフェクト・効果音すべてリアルタイムで動く AR(拡張現実)を作りました。 pic.twitter.com/vNcJPhFai7

— 青絵 (@aoepng) May 13, 2019

ARの民主化が始まったので、今後どのようにARに関わるべきか、私の進路を考えるためにまとめてみました。

職種別進路

1. 開発者向け
2. デザイナー向け
3. プロジェクトマネージャー向け 

1. 開発者向け

他技術の理解を深め、必要に応じてARと組み合わせる。ARクラウドが登場したので、データの管理と分析できるバックエンドエンジニアの需要が増加するかもしれません。私は入社前から機械学習を注力して、ARと組み合わせて研究していました。例えば、歩きスマートグラス問題の解決 (特許出願済)。現状のARはどこにでも表示できてしまうが、道路等の危険な領域を検知して、最適な場所・情報を適切に表示する方法を考えました。

なかじ / リリカちゃん (@nkjzm) さん (実は同期入社) が主催する Roppongi.unity #1 in メルカリ@六本木ヒルズ でプロトタイプ「ARグラス!?を使った実用的な屋内外用ARアプリ」を展示していたので、体験した方がいらっしゃるかもしれません。

2. デザイナー向け
ARは１つの表現方法として使用するのが良いかもしれません。既に多くのデザイナーがAR作品を制作しています。

沢山のARフィルターがまとまったWebサイトを見つけた。これは表現の勉強になる。

Lenslist - Top Camera Effects for Facebook
Instagram & Snapchathttps://t.co/lhLvbhWNhF pic.twitter.com/VbKOhSfdQO

— Ash at Fashion Tech Lab Tokyo (@ashyanagisawa) September 2, 2019

UnityやXcodeでARアプリを開発して公開するのも良さそうですね。光学迷彩が格好良い。

A new AR effects app "MEISAI" was released☺️
こんな光学迷彩みたいなエフェクトも作れます☺️
👉 https://t.co/CebLlcEGdF

This app works only on iPhone XR/XS/11+iOS13. but it’s free.#MEISAI #AR #ARKit #ARFoundation #MadeWithUnity #iOS13 pic.twitter.com/NdWskWsGKg

— Kitasenju Design (@kitasenjudesign) September 28, 2019

3. プロジェクトマネージャー向け

今後はARの情報が更に変化すると予想されるので、常に最新情報を収集する必要があると思います。XR (主にAR) の海外Webサイトをまとめました。

XR(主にSpatial Computing)の情報収集に使うウェブメディアのまとめ
・AR Insiderhttps://t.co/HNVC0SZpzz
・AR Posthttps://t.co/vx2J083sSb
・Next Realityhttps://t.co/Q6zxv289Ur
・UploadVRhttps://t.co/ro7V2dlfqG
・VRScouthttps://t.co/rP10agyxKc
・VentureBeathttps://t.co/TdDduHDh0w

— Ash at Fashion Tech Lab Tokyo (@ashyanagisawa) August 6, 2019

今後の予定

　ARが実装段階に入ったので、AR研究職から転職を考えました。しかし、米国を含む単独出願した特許技術 (1年間で出願数6件) は、プロトタイプ開発だけで発表はできてません。つまり、多くの事をメルカリでやり残しています。幸い、メルカリは個人の成長を促すため副業を推奨。そこで、ARはメルカリで実装、ファッションテックは副業で研究に取り組むことにしました。

AR

私はメルカリの研究部門から実装部門へ異動します。今までの社内実績が認められ、誘っていただいた部署への配属です。ARが事業に組み込める段階に持っていけたことはとても嬉しいですし、私が望んでいた目標に取り組むことができます。

ARという言葉を無くす

これに伴い職種もAR Research EngineerからUX Research Engineerへ変更することにしました。どんなプロダクトや機能が登場するか楽しみに待っていただけると嬉しいです。 

ファッションテック 

1. Optimized Reality (最適化された現実) の研究
2. AR for Sustainable Fashion (ARで持続可能なファッションを目指す) の研究
3. ファッションテックの講師

1. Optimized Reality (最適化された現実)の研究

2. AR for Sustainable Fashion (ARで持続可能なファッションを目指す) の研究

スマホのカメラに写った人の身体の動きに合わせて、指定したエフェクトを自動で出せるようになった。次は別の表現を試してみよう。#ARforSustainableFashion https://t.co/c2CFp9F0UE pic.twitter.com/M5bCfa8H6H

— Ash at Fashion Tech Lab Tokyo (@ashyanagisawa) August 30, 2019

 3. ファッションテックの講師

文化服装学院で2015年からファッションテックの特別講義しています。プリンストン大学や東京大学の学生に向けて講義経験があるので、英語の講演依頼もお待ちしております。

まとめ

　以上が1年分のAR研究の報告書です。メルカリに入社する前、スマートグラスの一般普及に必要な事柄を考えましたが、時代は一歩手前まで進んだので振り返ります。

3つの必要な事柄

1. ハードウェア :
   HoloLensと同機能を持ったVuzix Bladeと同サイズのスマートグラスの登場
2. ソフトウェア :
   スマートグラス固有の問題解決
3. コミュニティ :
   ARのSDKによるスマートグラスアプリの増加

1. ハードウェア

1年前は誰もがスマートグラスに関して「なにそれ？」の状態でしたが、現在はGAFAMの全ての企業が取り組み始めている。

• Google : Google Glass*17
• Amazon : Echo Frames*18
• Facebook : AR Glasses*19
• Apple : AR/VR Glasses(噂)*20
• Microsoft : HoloLens2*21

2. ソフトウェア

私は以上で書いてきたようなスマートグラス固有の問題に対する解決方法を研究してきました。

3. コミュニティ

コミュニティは研究を優先してしまい参加できませんでしたが、今後は私もコミュニティに参加したいと思ってますので、お会いした際は宜しくお願いします。

AR研究と進路相談に関わっていただいた全ての皆様に感謝しています。お世話になりました。

▼ 私のAR

第１章「研究」完結

第２章「実装」へ続く

*1:https://r4d.mercari.com/

*2:広辞苑「1つの職から他の職に転ずること。職業を変えること。」

*3:https://www.knowledge-works.co.jp

*4:https://careers.mercari.com/jp/culture

*5:https://wevox.io/media/mercari-story/

*6:注意「一部抜粋。あと1年前の予想なので外れる可能性が高いです。」

*7:http://www.ceatec.com/2018/ja/

*8:https://www.ces.tech/

*9:https://youtu.be/P7nYcuP1v7M

*10:https://mercan.mercari.com/articles/183000-2/

*11:https://youtu.be/DdJAkoo8TS0

*12:https://newspicks.com/news/3526879/

*13:https://www.vuzix.com/Developer/Announcements/Detail/47

*14:https://www.vuzix.com/appstore/app/firefox-focus-the-privacy-browser

*15:https://www.gartner.com/jp/newsroom/press-releases/pr-20180822

*16:https://www.gartner.com/jp/newsroom/press-releases/pr-20190830

*17:https://www.google.com/glass/

*18:https://www.amazon.com/Echo-Frames/dp/B01G62GWS4

*19:https://vrscout.com/news/facebook-developing-ar-glasses-livemaps/

*20:https://www.wired.com/story/apple-ar-glasses/

*21:https://www.microsoft.com/ja-jp/hololens/