東芝、画像の画素ごとの距離を計測するシステムを開発
今回のカラー開口撮像技術は、たった1枚の画像から距離を算出可能。
東芝は6月8日、単眼カメラで撮影した1枚の画像から、カラー画像と距離画像を同時に取得できる「カラー開口撮像技術」を開発したことを発表した。
クルマの自動運転の実現に必須となるのが、クルマ自身が周辺環境を認識するための技術だ。それを実現するには、クルマ自身から周辺の物体までの距離を正確に計測することが重要だ。距離計測を行うための技術としては、これまでに以下に挙げるようなものが開発され、レーンキープやクルーズコントロール、自動ブレーキなどのドライビングアシスト技術を実現するためにすでにそれらのセンサーが利用されている市販車も多い。
・ステレオカメラ：ヒトの目と同様に2つのカメラを用いることで三角測量の原理を利用して距離を算出
・赤外線デプスセンサー：赤外線パターンを照射し、その反射を赤外線カメラで撮影してパターンのズレから距離を算出
・超音波センサー：超音波を発信し、その反射波を受信するまでにかかった時間から距離を算出
・ミリ波レーダー：超音波と同様の仕組みで、ミリ波レーダーを発信してその反射波を受信するまでにかかった時間から距離を算出
・LiDAR(Light Detection and Ranging)：超音波センサー、ミリ波レーダーと同様の仕組みで、こちらはレーザー光を使用。その反射波を受信するまでにかかった時間から距離を算出
・SfM(Structure from Motion)技術：カメラを動かしながら撮影し、複数視点の画像から距離を算出
このように複数の方式があるわけだが、それぞれ一長一短がある。ステレオカメラの場合は立体視によって距離を正確に計測しやすいが、二つのカメラの間を最低でも30cmは離す必要があり、どうしても小型化に限界がある。
赤外線線デプスセンサーや超音波センサーは安価な点が優れているが、距離による減衰が大きい。そのため、対象物までの距離が数10m以上になると正確な測定が困難、もしくは測定そのものができなくなってしまう。
その点、ミリ波レーダーやLiDARは長距離でも減衰しにくいので、距離のあるものでも正確に測りやすい。しかし、装置が高価で小型化も困難という弱点があり、小型車や軽自動車などには積みにくい。
そしてSfM技術はカメラを動かしながら撮影した複数枚の画像から対象物の距離を測定するため、静止している対象は問題ないが、動きのある対象物の場合は高精度に距離を検出するのが苦手、という具合だ。
現状で、単眼カメラのドライブレコーダーなどには、GPSと連動させることで前走車との距離を算出し、衝突の危険性があるような距離にまで接近してしまった場合に警報を鳴らすといった技術はある。ただし、それが近距離から遠距離までオールラウンドに対象物までの距離を正確に測れて、機器として小型化が可能でなおかつ低コストとなると、あまり聞かない。まして、単眼カメラで撮影した1枚の画像から高精細に距離を割り出すといった技術となると、まずないだろう。
そうした測距技術の課題に対して今回東芝が出した回答の一つが、単眼カメラで撮影した1枚の画像から対象物までの距離を算出するという「カラー開口撮像技術」というわけだ。続いては、その技術の詳細に迫る。
カラー開口撮像技術は、単に画像の中心に写っている対象物までのおおよその距離を算出するというものではない。撮像されたピクセル1点ずつに対しての距離を算出するというものだ。つまり、たった1枚の画像があれば、複雑な形状の物体であってもカメラからの高精細な距離がわかるので、結果としてその物体の形状も算出できるということである。その精度はとても高く、3DCGモデルも構築できてしまうほどだ。
今回の技術はよほど特殊なレンズか何かで実現したのかと思うかもしれない。しかし、意外に思われるかもしれないが、一眼レフカメラのレンズの開口部に装着する水色と黄色のカラーフィルターと、画像処理技術だけである。このフィルターを取り付けた状態で撮影すると、物体(正確にはピクセルごと)の距離に応じてボケと色ズレが生じるため、それを同じく新開発の画像処理技術を用いて解析することで、単眼カメラながら1枚の画像から高精度な距離画像と同時にカラー画像も得られるというわけだ(下画像)。
ピント位置で色のボケ方が反転し、またそこから離れるほど色のボケが大きくなるので、それらで画素ごとの距離を算出
距離画像だけでなく、通常のカラー画像も得るられるのは、今回のフィルターが明るさへの寄与率の高い緑色光を透過させることが大きな理由。そのため、撮像した画像の画質劣化を抑えられる仕組みとなっており、距離画像と同時に通常の画像も得られるのである。
市販のカメラを用いたテストでは、カメラ間の距離が35cmのステレオカメラ相当の距離精度が得られることを確認したという。色ごとに非対称なボケ形状を解析することで高精度に距離を割り出しており、例えばジオラマのような複雑な形状のものでもたった1枚の画像から距離画像を作れるので(下画像)、そこから3DCGモデルを作り出すことも可能だ。
ジオラマのような複雑な形状であっても、1枚の画像から3DCGモデルを作成可能
このように、同システムはカラーフィルターと画像処理技術で構成される仕組みのため、安価な一般のイメージセンサを利用して構成でき、もちろん単眼であることから小型化も比較適行いやすい。まさにこれまでの距離計測システムの弱点を克服し、いいところ取りをしたような内容となっている。
自動運転車は現状でかなり技術的にレベルが上がってきており、実現化するのは時間の問題といっていい状況だ。しかし、それを実際に製品化して一般販売しようとすると、車両価格が高くなってしまうことは容易に予想できる。その要因の一つが、センサーの精度が高ければ高いほど高価であるという点であり、しかもそれを多数搭載する必要があるという点だ。
しかし、今回のように高精度でいながら安価でいて、なおかつ小型化も可能となると、小型車や軽自動車にも搭載しやすくなり、結果としてそうしたタイプの自動運転車も製品化しやすくなる。つまりは、より多くのヒトが自動運転車を購入しやすくなることが期待できるというわけだ。今回の技術は必ずしも自動運転のための技術というわけではないが、自動車業界にとっても非常に頼もしい技術といえよう。
なお、今回は技術として開発されたものであるため、まだ製品として具体的な形になっているわけではないことから、今後、同社ではカメラの小型化および画像処理の高速化を行い、早期の実用化を目指すとしている。
2016年6月10日(JAF MATE社 IT Media部 日高 保)
関連記事
●従来にない空撮も可能！ 風船＋ドローンによるパナソニック「バルーンカム」登場
●最精鋭の3DプリンタとVR技術が集結！ 近未来先取りの “3D&VR展” は見逃せない。東京ビッグサイトで24日まで。
●時速200km超も体験可能！ フォルクスワーゲン、VR技術を活用したプロモーションを開始
●モニター映像式のドアミラーが採用可能に！ 国土交通省がミラーの規則を変更
●ソーラーパネルからの充電も可能に！ 新型「プリウスPHV」、国内初披露中
