・自動車分野
自動運転
ドライバーモニタリング
視線センシングで
魅せる次世代UX
「視線検出技術」
特許取得
「パナソニックとの共同特許」を活用した「視線検出技術」は、RGBカメラで撮影した顔の特徴量から「視線方向・視線位置」などを可視化・定量化できる、弊社独自のアルゴリズムによる「ヒューマンセンシング技術」です。
〜このような課題を「視線検出技術」が解決します〜
顧客がディスプレイやサイネージのどのあたりを見ているかを定量化したい
ヘッドマウントディスプレイ機器に視線検出を追加して
UXを向上したい
マウスやクリックの代わりに、視線やまばたきをインターフェースとして代替したい
本「視線検出技術」の特徴
1.非接触・非装着の視線検出を実現
本「視線検出技術」は、センサーにカメラのみを利用するため「非接触」に視線検出が可能であり、ユーザビリティに優れています。
カメラセンサは、可視光センサに対応しているため、WEBカメラでも可能です。
＜動画＞高精度！本技術のデモンストレーション(CIS社ToFカメラ「DCC-RGBD1」を使用)
2.スマホカメラでもWEBカメラでも、単眼カメラのみで視線先を推定
「可視光カメラ」を利用できるため、「スマホカメラ」などのデバイス搭載カメラや
「WEBカメラ(USBカメラ)」など、流通している多くのカメラを利用して手軽に「視線検出」を実装できます。※ご利用状況によって「ToFカメラ」もご検討ください。
＜動画＞WEBカメラを用いた本技術のデモンストレーション(Logicoolカメラ「c270n」を使用)
3.メガネ着用OK
目を対象とする技術ではネックとなりがちな「メガネ」ですが、本技術は「可視光カメラ」を使用しており、反射の起こりやすい赤外線カメラを利用しないため、メガネ着用でも問題ありません。
＜動画＞WEBカメラを用いた本技術のデモンストレーション メガネ(Logicoolカメラ「c270n」を使用)
4.SDK提供が可能
従来は製品(完成品)での提供が多かった視線検出技術ですが、当社では「SDK(ソフトウェア開発キット)」を提供しているため、様々な製品/サービスに組み込んで本機能を実装できます。貴社で1から開発していただくより遥かに時間を短縮でき、比較的容易に実装可能です。
SDK/インターフェース仕様書
5.検証用アプリも利用可能
Windows版のみ、GUIで操作可能な検証用アプリのご用意があります。検出の動画を録画保存したり、csv出力機能があるため、SDKのご購入前の検証や、研究用途などにお使いいただけます。 また、プライバシー保護機能により顔にモザイクをかけて動画の撮影を行うこともできるため、被験者さまにも安心して検証を行っていただくことが可能です。
プライバシー保護による視線検出(目以外の顔領域にモザイク処理)
6.複数の特許権利化による技術領域の独占
可視光カメラにおける視線検出に関する特許を複数権利化済みです。現在も新たに複数件の特許を出願中です。
権利化済み特許一覧
| 特許番号 | 発明の名称 | 特許権者 | 登録日 |
|---|---|---|---|
| 特許第6717477号 | 画像処理方法、画像処理装置、 及び画像処理プログラム | スワローインキュベート パナソニック |
2020.06.15 |
| 特許第6721169号 | 画像処理方法、画像処理装置、 及び画像処理プログラム | スワローインキュベート パナソニック |
2020.06.22 |
| 特許第6725121号 | 視線検出方法、視線検出装置、 及び制御プログラム | スワローインキュベート パナソニック |
2020.06.29 |
| 特許第6745518号 | 視線検出方法、視線検出装置、 及び制御プログラム | スワローインキュベート パナソニック |
2020.08.06 |
| 特許第6755529号 | 情報処理方法、情報処理装置、及び制御プログラム | スワローインキュベート パナソニック |
2020.08.28 |
| 特許第6757949号 | 画像処理方法、画像処理装置、及び画像処理プログラム | スワローインキュベート パナソニック |
2020.09.03 |
| 特許第6802549号 | 情報処理方法、情報処理装置、及び制御プログラム | スワローインキュベート パナソニック |
2020.12.01 |
「視線検出技術」について
アイトラッキングや視線方向推定など「視線」を検出する技術は複数ありますが、その全ては「目の動き」を検出しています。 顔や目から、動かない部分を「基準点」とし、動く部分「動点」とします。その「基準点」に対する「動点」の位置にもとづいて「視線検出」を行なっているのです。
その方法の中でも大きく分けられるのが「角膜反射法＜アクティブ方式＞」・「三次元眼球モデル＜パッシブ方式＞」の2つです。
①角膜反射法＜アクティブ方式＞
- メリット ・・・精度が出やすい
- デメリット・・・高価、基準点が外れてしまうと使えない
「角膜反射法＜アクティブ方式＞」は、「赤外線カメラ」と「赤外線LED」を使用し、眼球（角膜）に照射した「レーザー」を基準点として、動点（瞳孔）との位置関係から視線を検出します。
レーザーによる基準点は画像処理で検出しやすいため、比較的精度が出やすい特徴があります。一方、赤外線カメラと赤外線LEDを使用するため「高コスト」です。また、基準点であるレーザーが角膜から外れてしまうと使えない点や、メガネ着用による影響がある場合はデメリットとなるでしょう。
②三次元眼球モデル＜パッシブ方式＞
- メリット ・・・安価、メガネの影響を受けない
- デメリット・・・基準点によっては精度がでにくい
「三次元眼球モデル＜パッシブ方式＞」は、通常のカメラ「可視光カメラ」を使用し、顔や目などの特徴を基準点として、動点（虹彩外縁）との位置関係から視線を検出します。
WEBカメラやデバイス搭載カメラなどの「可視光カメラ」を使用でき、特殊なカメラを必要としないため、前者と比較して「低コスト」です。一方、基準点を「目頭や目尻」としている場合は、表情やメイク、メガネフレームなどの影響により、安定した精度を出すことが難しい場合があります。
当社の視線検出技術は、「三次元眼球モデル＜パッシブ方式＞」を採用しています。
また、顔の基準点に目頭や目尻以外の特徴点を追加した「独自のアルゴリズム」を編み出し、
複数の特許を取得&権利化しています。
＜動画＞視線検出の流れ(顔向きベクトル取得～視線プロット先推定まで)
「視線検出技術」の活用例
アイトラッキングなどの「視線検出技術」は従来マーケティング分野をメインに活用されていますが、近年は「ヒューマンセンシング技術」や「ナチュラルユーザーインターフェース（NUI）」として様々な分野での活用ニーズが高まっています。
・医療分野
キーボード視線入力
視線マウス、視線UI
・アミューズメント分野
VR、ゲーム
タブレット・スマホアプリ
・マーケティング分野
店舗陳列などの購買行動評価
WEBサイト評価
デジタルサイネージ評価
カメラについて
「視線検出技術」は、3Dセンシングを実現する「ToFカメラ(CIS社製：DCC-RGBD1)」、または、市販のWebカメラ、デバイス搭載カメラなどの「可視光カメラ」をご利用いただけます。ニーズをクリアできる、用途に合ったカメラを選定することが重要です。ご不明な点は、遠慮なくお問合せください。
ToFカメラ「DCC-RGBD1」概要
「ToFカメラ」は、通常の2D（RGB）画像だけでなく、深度（距離情報）も画像データとして取得することが可能です。
中でもCIS社の「DCC-RGBD1」は、「可視光センサ」「赤外線センサ」「Depth(デプス)センサ」の3つのセンサが単一の基板上に組み込まれており、55×50×40mmという小型サイズが特徴のカメラです。
CIS社ToFカメラ | Webカメラ 比較表
| CIS社ToFカメラ | Webカメラ | ||
|---|---|---|---|
| デバイス名 | DCC-RGBD1 | Logicool c270n | |
| 製品URL | https://www.ciscorp.co.jp/product/camera_detail.php?rec_id=164&group_flag=70 | https://www.logicool.co.jp/ja-jp/product/hd-webcam-c270n#specification-tabular | |
| サイズ | 55mm(W) x 50mm(H) x 35mm(D) | 70mm(W) x 32mm(H) | |
| センサ | 可視光(RGB) | ◯ | ◯ |
| 赤外光(IR) | ◯ | × | |
| 深度(Depth) | ◯ | × | |
| センサ解像度 | RGB : 1280 x 960 IR : 640 x 480 Depth : 640 x 480 |
1920 x 1080 1600 x 1200 1280 x 960 1280 x 720 などに対応 |
|
| 照度環境 | 日中・明所 | ◯ | ◯ |
| 夜間・暗所 | ◯ | × | |
| 距離計測※1 | 視線検出 | ◎ | ◯ |
| 対応OS | Windows OS Ubuntu OS |
Windows OS 各種Linux OS iOS Android OS mac OS |
|
| 給電 | DC12V 3A 給電 | USB給電 | |
| カメラ設定 | 調整可能※2 (開発用SDKあり) |
変更不可 | |
| カメラレンズ | 変更可能 M12 Mount |
変更不可 FOV 60° |
|
| フォーカスタイプ | 固定フォーカス | 固定フォーカス | |
| シャッター | グローバルシャッター方式 | ー | |
※1 弊社SDK利用の場合 ※2 カメラAPIに定められたもののみ
提供形態
「視線検出技術」は、現在「SDK (ソフトウェア開発キット)」、「検証用アプリケーション(Windows版)」を販売しています。
ソリューションをご希望の方、アプリケーション委託をご希望の方、お見積もり等はお気軽にお問合せくださいませ。
他社製品との特徴比較
視線検出やアイトラッキングなどの視線を検出する技術は、「接触タイプ」と「非接触タイプ」の2種類があります。実際のご利用環境や、ニーズに合わせた技術の選択が大切です。
| 接触タイプ | センサー | 提供形態 | 備考 | |
|---|---|---|---|---|
| 当社 | 非接触 | 可視光カメラ ToFカメラ |
SDK/ソリューション | パナソニック& 自社特許活用 |
| N社 | 非接触 | 可視光カメラ | ソリューション | 遠隔の視線も推定可 |
| F社 | 非接触 | 赤外線カメラ +赤外線LED |
据え置き型&分析アプリ&API、ソリューション | |
| T社 | 接触 | 赤外線カメラ +赤外線LED |
据え置き型、ウェアラブルグラス、ソフトなど | アイトラッキング技術 |
| F社 | 接触 | 赤外線カメラ +赤外線LED |
ウェアラブルHMD | HMD=ヘッドマウントディスプレイ |
「視線検出技術」の導入フロー
「視線検出SDK」をご購入いただく場合の参考フローです。はじめに「開発版ライセンス」をご購入いただき、PoCや実証実験で問題がなければ「商用版ライセンス」に移行して運用開始の流れです。
導入に関するご質問や、お見積もりのご依頼は「お問合せ」よりお気軽にご連絡くださいませ。
まずは触ってみたい場合には、「検証アプリケーション」のご提供も行っております。
お問合せ
お見積もり
お申込み
お支払い
開発版SDK
納品
PoC
商用版条件交渉
ライセンス契約- 運用開始
資料
本技術の資料を無料でダウンロードできます。ぜひご利用ください。
FAQ(よくある質問)
- Q視線検出が可能な距離はどれくらいですか？
- A現在は、1m以内でのご利用を想定しています。それ以上の距離をご希望の場合はお問合せください。
- Qスマホアプリやタブレットアプリにも活用できますか？
- A視線検出SDKは特殊なカメラが不要なため、iPhoneなどの「デバイス搭載カメラ」でご利用いただけます。そのため、スマホアプリ・タブレットアプリでもご利用可能です。
- Q提供OSを教えてください
-
AWindows/iOS/Android/Linux/Mac/Raspbian OS等に対応しています。
詳細やバージョン情報、その他のOS希望がある方は、どうぞお気軽にお問合せくださいませ。 - Q提供方法を教えてください
-
A現在は「SDK(ソフトウェア開発キット)」と、「検証用アプリケーション」のご提供が可能です。
お客様に合わせたソリューション開発の受託も行っておりますので、ご要望やお見積もりは
「お問合せフォーム」よりご連絡ください。 - QSDKとはなんですか？提供形態を教えてください
-
ASDKとはSoftware Development Kitの略で、お客様のアプリケーションに組み込むための開発キットです。
C++インターフェースのヘッダーファイルと動的リンクライブラリ、サンプルアプリ、マニュアルが付属しています。 - Q処理速度はどのぐらいですか？
- Aマシンスペックにもよりますが、Core i5/メモリ8GB程度のマシンであれば秒間約5〜7フレーム処理可能です。RaspberryPi4程度であれば秒間2〜3フレーム処理可能です。
