渾身の変装も瞬時に見抜いたAIカメラ。結集した各社の技術とノウハウとは ～「AI vs 人間」後日談～
先日ご紹介した「【実験してみた】AI vs 人間 社員を正しく見分けられるのはどっち？」（詳しくは文末のリンクから）。
対決で際立ったのは、顔認証AIカメラの判別の速さや精度の高さでした。これを支える技術は一体どのようなもので、どのようにして作り上げられているのか、開発に携わる3社のプロジェクトメンバーに話を聞きました。
AIは「脳」、センサーは「目」。対決を制したAIカメラ二つの技術
――前回の対決では、「社員の“そっくりさん”を見破れるか」「変装した社員を見破れるか」など、さまざまな“お題”が登場しました。対決を終えた感想を教えてください。
山脇：正直、勝ててほっとしました（笑）。実証実験をしたことがないものばかりで、最初にお題を渡されたときに「難しいかも」と思っていたんです。
横川：「髪を切った」「少し年齢を重ねた」などの実証実験はしてきたものの、カツラをかぶって瞳が小さく見えるコンタクトをするなどの「変装する人」はしていませんでしたからね（笑）。
――AIカメラは、どのような技術で社員の顔を認証していたのですか？
佐藤：コアとなっているのはディープラーニングをベースにしたAI技術です。顔画像中の目・鼻・口など個々のパーツの形状・位置、皮膚の質感などの情報から特徴を抽出し、それをベースに個人を識別しています。
AIカメラに搭載した機能は、大まかに言うと、この「AI技術」と「センサー技術」の二つです。それぞれの技術の役割を例えるなら、AIは「脳」でセンサーは「目」。目から得た情報を元に、脳が判定を下すという方法で顔認証を行なっていました。
――AIカメラの開発に至った背景を教えてください。
山脇：そもそもは5年ほど前、ソニーセミコンダクタソリューションズ株式会社の当時の開発チームから「スマホで顔認証できる技術を開発したが、何かビジネスにならないか」と相談があったことがきっかけです。その後2〜3年かけて色々なアイデアを検討する中で、「AIカメラ」の案が浮上しました。
正式にチームが発足したのは2020年のこと。AI技術の研究・開発をおこなうソニーグループ株式会社（当時のソニー株式会社）と、センシング技術の開発をおこなうソニーセミコンダクタソリューションズ株式会社、サービス・製品化してお客さまに届けるソニーネットワークコミュニケーションズ株式会社の3社で、15名ほどが関わりながら商用化に向けた試行錯誤が始まりました。
ソニーグループの技術を集結。AIカメラの顔認証精度とスピードの秘密とは
――AIカメラに搭載したそれぞれの技術について教えてください。まずはAIカメラの「目」であるイメージセンサーは、どのような役割を担っているのですか？
杉本：たとえばインターホンを覗いたときに、相手の顔がはっきり見えないことってありませんか？照明が明るすぎて白飛びしていたり、逆光や夜の暗闇だったり、通常のカメラでは捉えきれないシーンでも相手の顔を正確に捉え、AIが解析しやすい精度の画像に落とし込むのがイメージセンサーの役割です。逆光で真っ暗になった顔の画像を見ても、誰だか判断できないのは、人間もAIも同じなんです。
搭載しているのは「IMX500」というセンサーで、センサーの中に小さなAIが組み込まれているもの。いうなれば、目の中にも小さな脳があるような状態です。そのため、センサー側で画像を鮮明なものに処理してから、ソニーグループ株式会社が開発した顔認証AIに渡せます。その結果、顔認証AIはスムーズに画像解析でき、顔認証の精度も判定のスピードも上げることができるんです。
黒田：じつは、「IMX500」はAIを組み込んだ世界初（※1）のイメージセンサーです。前回の対決ではAIカメラの判定の速さが際立ちましたが、その速さに大きく貢献していたのがこの「IMX500」でした。
横川：特に「大勢の中から社員でない人を見抜けるか」の対決では、人間に比べて圧倒的に速く判定できました。ソニーグループが誇るセンサー技術とAI技術の強みを活かせた結果を出せたと感じています。
――AIカメラに搭載したAI技術には、どのような特徴があるのですか？
佐藤：一番の特徴は「軽量小型」です。
AIの顔認識技術は近年大きく進歩しましたが、稼働するために巨大なサーバを必要とします。そこで、稼働にかかる負荷を下げつつ、高速・高精度に動作できる独自のネットワークを構築し、小型の顔認証AIを開発。小型かつ軽量になったことで、小さな機器への搭載が叶い、エンタテインメントロボット「aibo（アイボ）」やデジタル一眼カメラ「α™（アルファ）」などに活用できています。
杉本：組み込み機器に搭載できるサイズの顔認証技術の中では、この顔認証AIは世界トップレベルの精度です。それでいて低コストなのも特長ですよね。
佐藤：そうですね。低コストを実現できたことで、一箇所に複数の顔認証AIを設置できる可能性も出てきました。複数を設置できれば、広範囲をカバーできるため、無人レジはもちろん、大勢が集うイベントや遊園地、駅の改札などのチケットレス化も叶えられるのではと考えています。
――AIとセンサー技術を組み合わせるときに大変だったことはありますか？
山脇：コロナ禍だったため、「マスクをつけた人が動いていても顔認証できるようにすること」は特に技術を持ち寄って考えました。
たとえばマスクをつけて、なおかつ前髪が顔にかかっていると、得られる情報がほぼ目元しかないんです。さらにその人がカメラの前で静止しない状況で顔認証するのは難しく、チューニングを重ねました。
――確かに、マスクだと顔認証の難易度が高そうです。どのように解決したのですか？
佐藤：マスク等で遮蔽された顔の認証精度を高める技術を独自に作りました。
顔が見えたら、まずマスクやサングラスなどの遮蔽物が無いかをチェック。遮蔽物を検知したらその形状や大きさを推定し、遮蔽物で覆われてない領域を取り出します。最後にその領域を高解像度化することで、できるだけ多くの情報を取得して認証精度を高めています。
今回のようにマスクをつけている場合は、目の周辺の領域を高解像度化する必要があるのですが、目元の高解像度化はAIだけでは難しく、高いセンシング技術があってこそ成し得たものでした。
――まさに、ソニーグループ各社の技術を結集したのがAIカメラですね。実証はどのように行いましたか？
山脇：社内メンバーに協力してもらい、普段通り仕事をしてもらいつつ、オフィスの入口に設置したAIカメラが社員の顔をきちんと認証するかのテストを重ねて実証しました。
いざ実証してみると、下を向いて歩く人や急いでいる人など、想定していなかったようなシーンに立ち会えました。複数人が一気に通過し、人の影になって顔が見えないことも。繰り返し実証を行うたびにこんなケースがあるのかと気づき、「こういう変更をすれば」「この設定を変更してみては」と皆で意見を交えながらチューニングしていきました。
黒田：現場に出てみると、いろいろなケースの発見と課題が出てくるんです。たとえば、壁の模様や窓枠など、顔っぽくも見えるようなものを顔と捉えて判定してしまったり、誰かがカメラの前に物を置いて遮ってしまうなど想定外の使い方をしてしまったり。机上で考えるだけでは出てこなかったシチュエーションに立ち会えるのは、やはり興味深いです。そして何度も試行錯誤を重ねて、できなかったことができるようになるのは、エンジニアとして一番嬉しい瞬間でした。
佐藤：わかります。これまで難しいと思ったことでも、皆で取り組めばなんとか解決できました。だから、新たな問題に直面しても諦めずに挑戦できたんだと思います。
山脇：テクノロジーを商用にするときの壁はとてつもなく高くて、それを一段でも乗り越えると、まったく違う景色が見える。それがすごく楽しいんですよね。
あらゆる体験をシームレスに。AIカメラで叶える未来予想図
――AIカメラの展望を教えてください。
佐藤：現時点で、軽量小型でコスト面でも導入しやすい、理想のAIカメラに近づけていると思っています。将来的に商用化した際には、現在顔認証AIを取り入れている現場はもちろん、大がかりな顔認証システムを入れられない場面など、あらゆるところで使っていただきたいです。
横川：センシング技術はAIでもその他の領域でも、今後より重要な技術になっていくと感じています。「IMX500」以外にもさまざまなセンサーや社会に役立つソリューションを叶えるシステムを開発し貢献したいですね。
山脇：ソニーグループ全体で見ると、法人向けサービスは相対的に多くはなかったと思いますが、貢献できるポテンシャルはあると感じています。AI技術は進歩も早くベネフィットも魅力的である一方、さまざまなリスクもあるので、そういった部分もしっかりケアしながら、いままで磨いてきた技術で企業の様々な「こうしたい」を実現させていきたいですね。
杉本：「IMX500」はあらゆるもの、あらゆるシーンに活用できるセンサーです。AIカメラを活用したセンシングソリューションの効率的な開発を支援するプラットフォーム「AITRIOS™（アイトリオス）」（※2）を通じて、リテール、スマートシティ、パーキング向けなど、さまざまなシーンへソリューションを提供していきたいですね。
▼前回の対決の様子はこちらから
※1 イメージセンサーとして。ソニー調べ。（2020年5月14日広報発表時）
※2 AITRIOSは、ソニーグループ株式会社またはその関連会社の登録商標または商標です。
※3 その他、記載されている会社および商品名は各社の商標または登録商標です。
この活動に興味を持った、または、ソニーネットワークコミュニケーションズについてもっと知りたいと思ってくださる方は、♡（スキ）やシェアで教えてください♪