非表示
Project Tango

Depth Perception

プロジェクトタンゴデバイスには、現実世界のデバイスからオブジェクトへの距離を測定する統合3Dセンサーが装備されています。現在のデバイスは、屋内で最適に動作するように適度な距離(0.5〜4メートル)で設計されています。この構成は赤外線(IR)照明及びデプス処理の所要電力のバランスをとりながら、少し離れた距離において良いデプスを与える。これは近い範囲のオブジェクトスキャンやジェスチャ検出のためには理想的ではないかもしれませn。

デバイスのカメラを使用して赤外光を見ることに依存する技術のため、正確な奥行き知覚が困難な状況がいくつかあります。太陽光や白熱電球のようなIRの高い光源がある領域や、IR光を反射しないオブジェクトではうまくスキャンできません。

奥行きデータによりデバイスから見えるオブジェクトの距離を把握するアプリケーションが作れるようになります。ゲームでは、ユーザーがエリア内の壁や他のオブジェクトに近づいている時に検出し、それをゲームプレイの一部として使いたい場合があります。モーショントラッキングと奥行き知覚を組み合わせることで、同じフレームに含まれていない領域の点間の距離を測定することができます。テクスチャやメッシュ作成のために利用するポイントクラウドの色を参照するために、奥行きデータはカラー画像データと関連付けることができます。

プロジェクトタンゴは主に2つのフォーマットで奥行き情報を返します:点群、およびメッシュ生成を支援するために設計されたXYZijと呼ばれるプロジェクトタンゴ固有の形式。

点群

プロジェクトタンゴAPIは、ポイントクラウドの形で奥行きデータを取得する機能を提供します。このフォーマットは、シーン中の計算可能な多くの点の座標(x、y、z)を与えます。各次元は、デプス検出カメラの座標系でミリメートル単位での各点の位置を記録する浮動小数点値です。

図1:点群

At this time Project Tango does not natively provide the ability to generate a large mesh with textures for 3D mapping. However, many third-party libraries and tools exist for manipulating both point clouds and depth images, such as the Robot Operating System and Point Cloud Library. Techniques for this may use a mix of processing on the device as well as some cloud services.現時点でプロジェクトタンゴは、ネイティブで3Dマッピング用のテクスチャを持つ大規模なメッシュを生成する能力を提供していません。しかし、点群と奥行き画像の両方を操作するためにはRobot Operating SystemPoint CLoud Libraryのような多くのサードパーティのライブラリやツールが存在します。このための技術は、デバイス上の処理の組み合わせだけでなく、いくつかのクラウドサービスを使用することができます。

XYZij

XYZij形式はXYZ点群とデプスマップを生成可能にする2次元ルックアップテーブルの組み合わせである。

The XYZ part of the XYZij format is the same as the XYZ point cloud: a 1D array of points with (x,y,z) coordinates.XYZij形式のXYZ部がXYZ点群と同じである:座標(x、y、z)の点の1次元配列。

XYZij形式のIJ部は、XYZ点群から2D画像やメッシュの作成を可能にするラスタ順にソートされたインデックスの整数の2次元配列です。所望であれば、これらのインデックスを使用して深度マップを作成することができます。奥行き値のないグリッド内に空のセクションがあるかもしれません。これらは、IJ配列において-1と定義されています。

IJ·アレイを使用すると、非常に迅速に点の近傍にアクセスできます。生の点群の配列は、任意の順序で格納され、隣接する近隣の順序または空間的連続性を保証しない場合があります。

ポイントクラウドは、多少疎であり、画像に変換するときはギャップを含んでいます。IJの配列は、図2のように最近傍フィルタのようなもので、穴を埋めることを可能にします。

図2:XYZij最近傍フィルター

詳細については、TangoXYZij構造体のAPIリファレンスを参照してください。

この構造体は、その中に画像バッファも持っていることに注意してください。これは、点群の点の色情報を得るために、カメラの画像を保存することを意図しています。