Appleが取得、次世代 iPhoneのカメラか「人の目に似た処理」をする特許技術

Appleが将来的にリリースするiPhoneやAppleグラスといった製品には、人の目に似た処理技術を採用することにより、必要とされるバッテリー容量を大幅に削減する可能性がある。

2020年8月6日付でAppleが取得をした特許は、イベントカメラで静止的画像を生成するというものである。つまり、レンズの奥に内蔵される光を感知するイメージセンサーが、動画の前処理を行うというものだ。

米国特許商標庁が公開した特許の概要欄には以下の内容が記載されている。

この方法は、いくつかの実施形態に従って、非一過性の記憶を有する画像処理装置において実行される。この方法は、時間の関数としての特徴付け強度を有す、第1の放出期間に渡って発光をトリガーすることを含む。更に、この方法は、イベントカメラが第1の発行期間中の発光の反射に対し、それぞれのピクセルイベントを取得することを含み、それらは輝度レベルを示すそれぞれのコンパレータしきい値の違反に対応するピクセルイベントと、それぞれの電気的しきい値、それにそれぞれの電気的しきい値に違反したタイムスタンプによって特徴付けられる。

現在のカメラシステムは、レンズを通して受け取った光をセンサーが受信し、そのデータは処理装置へ送られ、そのデータを元にビデオデータが生成されて保存されている。センサーがデータの処理をすることなど、現時点ではあり得ない技術である。

この特許技術を使用することで、撮影中にカメラレンズを通ってセンサーが受け取った光のデータに、それよりも1フレーム前に撮られたデータと重複する素材が含まれているのか否かについて、カメラセンサー自身が判断をしてデータの前処理を行える。センサー側で下処理を終えたデータが処理装置に渡るため、必要とされるデータはコンパクトにすることができ、処理時間も大幅に軽減されることが期待できる。つまり、処理の時間が短縮可能となるため、バッテリーの節約に貢献できる技術となっている。

たとえを出した方がいいだろうか。三脚に据え置いたiPhoneで、定点撮影をするとしよう。画角に収まる大半は白い壁紙であり、講演を仕切る人が なにかを話しているとしよう。無論、白い壁紙は動かない。動いているのは人のみであって、動かない壁が映るデータを1秒間に30回同じデータとして処理装置に渡すよりは、「この部分は白い壁で、1つ前の回と同じデータを使い回して大丈夫だ」という信号を渡した方がデータの処理は早く済む。つまりそれなのである。1フレーム前に記録された写真から変更された部分のみを処理することで、処理装置への負担が軽減されるものとなる。

最も、その信号のやり取りは、ピクセルという極々小さな単位で行われるものであり、「壁」として伝達されるものではない。

ここでお気づきだろうか。人の網膜でもよく似た処理を行っていることを。人は、重機にも自然を取り入れている。例えば、重いものを釣り上げる重機はキリンの形をしており、重いものを運ぶ重機は象の形をしている。これは自然にそうなったのではなく、そうすることが物理的に理にかなったものであったためだ。

Appleは、システムを自然に近づけることでロスを無くす、なにか大きく具現可能な想像を持ち合わせているのかもしれない。

この特許は、将来的にiPhoneやARデバイスのAppleグラスに採用される可能性もあるが、現時点では特許を取得したのみである。特許技術は、必要に応じて使用されることもあるが、その技術よりも勝るものが登場すれば使用されないこともある。