AR マト当て 2021 開幕

執筆者: 川崎 貴章
  • 3/1/2021
  • 読み込み時間 : 6min
benefits-of-iot-environment-on-cloud-jp-600x280
PTC ジャパンで AR を担当している川崎です。

今回のブログではご質問をいただく機会が多い AR の表示精度に関して触れたいと思います。
「ベンダーの担当者として覚悟を決めて書くのか?」と思わせておいて弱気なことを書くのですが、AR については絶対的な精度を語ることは難しいです。その理由として、AR はデバイスのカメラを通して入力された映像を元に判断をしているため、以下の要素の影響を強く受けます。
  1. カメラの性能
  2. 照明環境
  3. 空間の視覚的な特徴
視覚情報から特徴を検出するため、鮮明な映像が得られるカメラの方が良いです。また、同じ対象物でも照明の当たり方でコントラストが変わってしまうので、例えば自然光だと朝と夕方で結果は変わります。安定した照明という観点では、屋内で電気照明がついている環境の方が良い結果がでます。そして、特徴が少ない単色の壁や光を反射する様な材質(金属、ラミネート、ガラス面)が多いと結果は悪くなります。更に、AR 表示の起点となる対象物が視界から外れた場合は IMU(内蔵センサー類)や映像の動きを元に自分がどれだけ移動したかを推測するので、高スペックのハードウェアの方が結果は良くなります。 このように、AR アプリケーションは外部から受ける影響が大きいため、性能に関するベンチマークは PTC 製品に限らず公開されている事がほとんどありません。

このような前置きを書きつつ、今回は Vuforia Studio を使って約 1m 先にあるマトに 1 辺が 1cm の正方形を AR で重ね合わせて表示し、どのくらい中心に寄せられるかを試してみました。
中心から 1cm、2cm、3cm、4cm、5cm、6cm の正方形でマトを構成し、AR の正方形がどこに入るかを確認します。判定はそこまで厳密ではなく大半(8 割くらい)が 1cm の正方形に収まっていれば、1cm に入ったとカウントしています。
各種 AR ターゲットごとに、10 回ずつ試しどれだけ中心に近いか、どれだけ安定しているかを比べてみたいと思います。

benefits-of-iot-environment-on-cloud-jp-001-900x450

また、今回利用した環境は以下の通りです。

  • Vuforia Studio 9.0.1.4911
  • iPhone8 OS: 14.4
  • HoloLens2 OS: 10.0.19041.1134
  • ターゲット
    1) ThingMark(6 角形のマーク): 幅 10cm
    2) ImageTarget(宇宙飛行士の絵): 幅 7cm(印刷済みで手元にあったものを利用)
    3) ModelTarget(3D プリンタで印刷した 6 角形の箱): 幅 9.5cm 高さ 3.3cm
    4) AreaTarget(iPad でスキャンした周辺環境): マト当てをする領域をスキャン
    5) MT2: ModelTarget だが、マトを置いた机をスキャンしてターゲットとして使用

benefits-of-iot-environment-on-cloud-jp-002-900x450

初めに iPhone での確認結果です。グラフは箱ひげ図で記述してあり、各ターゲットの重ね合わせ表示がどのエリアに入っていたかを分布で表しています。例えば ThingMark では必ずマトの 1 と 2 に入りましたが、1 に入った回数の方が多いので中央値の x が 1 に寄っています。ModelTarget は中央の箱から外れる値(4 と 1)が出ていました。AreaTarget、M2 についてはすべてが 1 だったので箱がなくすべてが 1 の上に載っています。

マト当ての実施に当たり、ThingMark、ImageTarget、ModelTarget(6 角形の箱)についてはターゲットとマトが同一映像内に映る様に心がけました(映像内にマトがないと IMU の情報などによる位置の推測になってしまうためです)。この 3 つでは ThingMark が最も安定していました。考えられる理由は、マークが辺と角で構成され視覚的な特徴が容易に認識できるからで、そう考えると ImageTarget も絵ではなくて辺と角で構成された絵柄の方が良い結果になった可能性があります。一方で、6 角形の箱を使った ModelTarget は 1 番ばらつきがありました。やはり、高さといった 3 次元の要素が加わると計算が複雑になり、更にターゲットから距離が離れることが理由だと考えました。

ModelTarget から 1m 先に AR を表示する要件はほぼなく、この検証条件が ModelTarget に不向きなのではないかと考えたので、マトとターゲットを置いている机をスキャンして机の一部をターゲットとして使ってみたところ、すべて 1cm に入り、非常に安定した結果になりました (iPhone_MT2)。AreaTarget はこの MT2 とほぼ同じことをやっているので、同様の結果となりました。

benefits-of-iot-environment-on-cloud-jp-003-900x450

次に HoloLens2 の結果です。

こちらは驚くべきことにすべてのターゲットでの結果がほぼ中心に収まっていました。AreaTarget の結果はほぼ中心でしたが何度か外れることがありました(まだ開発中の機能だからだと思います)。

今回の試みから感じたことは以下です。

  1. 精度を求める場合には、ターゲットと AR 表示は近寄らせた方が良い
  2. ターゲットは要件・用途で使い分けると良い
    ThingMark: 貼ることに問題がなければ、AR の重ね合わせは良い結果が期待できる。
    ImageTarget: 自由に絵柄を選べる一方、絵柄で精度が変わるため、実環境でテストし最適を選ぶことが望ましい。
    ModelTarget: ModelTarget を使う際はその Model 自体もしくは近接部位に AR の重ね合わせをすることが適している。
    AreaTarget: まだリリース前の機能のため断言はできないが、広範囲で AR 表現をしたいときには適している。ただし、スキャンする端末によって取得するデータの精度が変わるので、そのことが Vuforia Studio 内でのデザインのしやすさと表示精度に差として出ることが考えられる。
  3. AR コンテンツを閲覧するデバイスによる精度の差は大きいため、要件と制約で適切なデバイスを選択する必要がある
    HoloLens2 はトラッキング用のカメラが 4 つ搭載されているので、自分の正面(視界)にターゲットが見えなくなった場合でも、ハードウェアとしては対象物の認識を続けているため、AR 表示のずれは少ない。重量や視界を遮られることが問題にならず、気温調整しやすい環境であれば、没入感と精度が高い AR 体験を得ることができる。
冒頭に記述した通り、どの環境においても今回と同じ結果が得られるとは限らないので、このブログの内容を参考に検討し、実環境で評価をした方が良いです。また、Vuforia Studio は販売開始以来、順次新しい機能が追加され AR の精度向上も図られていますので、新しいリリースで同じことを試した場合には更に良い結果が得られることが考えられます。製品は 1 回/月くらいの頻度でリリースされますので、常に最新版を利用して下さい。

また、実業務における AR の活用につきましてはこちらの Web セミナーでご紹介しています。ぜひご覧ください。

PTC ジャパンでは、AR による業務支援をするにあたりどのような利用環境ではどのターゲットを使うことが適しているのか、そしてどのような AR 表現をすると利用者に効果的にメッセージを伝えることができるのかといった知見も有していますので、興味をお持ちいただけましたら、ぜひ下記にご連絡下さい。
https://www.ptc.com/ja/contact-us
Tags:
  • Augmented Reality
  • Developer
  • Vuforia Developer
  • Vuforia
  • Developer
  • Engine
  • Studio
  • PTC Education
  • Digital Twin
  • Industry 4
  • Report
  • AR Improve Customer Experience
  • AR Workforce Efficiency

執筆者について

川崎 貴章

製品技術事業部 プラットフォーム技術本部 製品戦略部
シニア テクニカルスペシャリスト

2011 年 PTC に入社。製品設計の 3D モデルのビジュアライゼーション、IoT 製品の技術サポートを経て、AR 製品のプリセールス・プロモーションを担当。 過去にパソコンやスマートフォンがそうであったように、今後は AR とその関連技術で仕事や生活をより楽しく豊かにできると強く信じて、製品をご紹介させていただいています。