視線センシングで
魅せる次世代UX
「視線検出技術」
特許取得

「パナソニックとの共同特許」を活用した「視線検出技術」は、RGBカメラで撮影した顔の特徴量から「視線方向・視線位置」などを可視化・定量化できる、弊社独自のアルゴリズムによる「ヒューマンセンシング技術」です。

〜このような課題を「視線検出技術」が解決します〜

本「視線検出技術」の特徴

1.非接触・非装着の視線検出を実現

本「視線検出技術」は、センサーにカメラのみを利用するため「非接触」に視線検出が可能であり、ユーザビリティに優れています。
カメラセンサは、可視光センサに対応しているため、WEBカメラでも可能です。

<動画>高精度!本技術のデモンストレーション(CIS社ToFカメラ「DCC-RGBD1」を使用)

2.スマホカメラでもWEBカメラでも、単眼カメラのみで視線先を推定

「可視光カメラ」を利用できるため、「スマホカメラ」などのデバイス搭載カメラや 「WEBカメラ(USBカメラ)」など、流通している多くのカメラを利用して手軽に「視線検出」を実装できます。※ご利用状況によって「ToFカメラ」もご検討ください。

<動画>WEBカメラを用いた本技術のデモンストレーション(Logicoolカメラ「c270n」を使用)

3.メガネ着用OK

目を対象とする技術ではネックとなりがちな「メガネ」ですが、本技術は「可視光カメラ」を使用しており、反射の起こりやすい赤外線カメラを利用しないため、メガネ着用でも問題ありません。

<動画>WEBカメラを用いた本技術のデモンストレーション メガネ(Logicoolカメラ「c270n」を使用)

4.SDK提供が可能

従来は製品(完成品)での提供が多かった視線検出技術ですが、当社では「SDK(ソフトウェア開発キット)」を提供しているため、様々な製品/サービスに組み込んで本機能を実装できます。貴社で1から開発していただくより遥かに時間を短縮でき、比較的容易に実装可能です。

SDK/インターフェース仕様書


5.検証用アプリも利用可能

Windows版のみ、GUIで操作可能な検証用アプリのご用意があります。検出の動画を録画保存したり、csv出力機能があるため、SDKのご購入前の検証や、研究用途などにお使いいただけます。 また、プライバシー保護機能により顔にモザイクをかけて動画の撮影を行うこともできるため、被験者さまにも安心して検証を行っていただくことが可能です。

Windowsアプリ画面

プライバシー保護による視線検出(目以外の顔領域にモザイク処理)


6.複数の特許権利化による技術領域の独占

可視光カメラにおける視線検出に関する特許を複数権利化済みです。現在も新たに複数件の特許を出願中です。

権利化済み特許一覧

特許番号 発明の名称 特許権者 登録日
特許第6717477号 画像処理方法、画像処理装置、 及び画像処理プログラム スワローインキュベート
パナソニック
2020.06.15
特許第6721169号 画像処理方法、画像処理装置、 及び画像処理プログラム スワローインキュベート
パナソニック
2020.06.22
特許第6725121号 視線検出方法、視線検出装置、 及び制御プログラム スワローインキュベート
パナソニック
2020.06.29
特許第6745518号 視線検出方法、視線検出装置、 及び制御プログラム スワローインキュベート
パナソニック
2020.08.06
特許第6755529号 情報処理方法、情報処理装置、及び制御プログラム スワローインキュベート
パナソニック
2020.08.28
特許第6757949号 画像処理方法、画像処理装置、及び画像処理プログラム スワローインキュベート
パナソニック
2020.09.03
特許第6802549号 情報処理方法、情報処理装置、及び制御プログラム スワローインキュベート
パナソニック
2020.12.01

「視線検出技術」について

アイトラッキングや視線方向推定など「視線」を検出する技術は複数ありますが、その全ては「目の動き」を検出しています。 顔や目から、動かない部分を「基準点」とし、動く部分「動点」とします。その「基準点」に対する「動点」の位置にもとづいて「視線検出」を行なっているのです。
その方法の中でも大きく分けられるのが「角膜反射法<アクティブ方式>」・「三次元眼球モデル<パッシブ方式>」の2つです。

①角膜反射法<アクティブ方式>

  • メリット ・・・精度が出やすい
  • デメリット・・・高価、基準点が外れてしまうと使えない

「角膜反射法<アクティブ方式>」は、「赤外線カメラ」「赤外線LED」を使用し、眼球(角膜)に照射した「レーザー」を基準点として、動点(瞳孔)との位置関係から視線を検出します。
レーザーによる基準点は画像処理で検出しやすいため、比較的精度が出やすい特徴があります。一方、赤外線カメラと赤外線LEDを使用するため「高コスト」です。また、基準点であるレーザーが角膜から外れてしまうと使えない点や、メガネ着用による影響がある場合はデメリットとなるでしょう。

角膜反射法<アクティブ方式>

②三次元眼球モデル<パッシブ方式>

  • メリット ・・・安価、メガネの影響を受けない
  • デメリット・・・基準点によっては精度がでにくい

「三次元眼球モデル<パッシブ方式>」は、通常のカメラ「可視光カメラ」を使用し、顔や目などの特徴を基準点として、動点(虹彩外縁)との位置関係から視線を検出します。
WEBカメラやデバイス搭載カメラなどの「可視光カメラ」を使用でき、特殊なカメラを必要としないため、前者と比較して「低コスト」です。一方、基準点を「目頭や目尻」としている場合は、表情やメイク、メガネフレームなどの影響により、安定した精度を出すことが難しい場合があります。

三次元眼球モデル<パッシブ方式>
↓
check

当社の視線検出技術は、「三次元眼球モデル<パッシブ方式>」を採用しています。
また、顔の基準点に目頭や目尻以外の特徴点を追加した「独自のアルゴリズム」を編み出し、
複数の特許を取得&権利化しています。

<動画>視線検出の流れ(顔向きベクトル取得~視線プロット先推定まで)

「視線検出技術」の活用例

アイトラッキングなどの「視線検出技術」は従来マーケティング分野をメインに活用されていますが、近年は「ヒューマンセンシング技術」や「ナチュラルユーザーインターフェース(NUI)」として様々な分野での活用ニーズが高まっています。

・自動車分野

自動運転、ドライバーモニタリング

自動運転
ドライバーモニタリング

・医療分野

キーボード視線入力、視線マウス、視線UI

キーボード視線入力
視線マウス、視線UI

・アミューズメント分野

VR、ゲーム、タブレット・スマホアプリ

VR、ゲーム
タブレット・スマホアプリ

・マーケティング分野

店舗陳列などの購買行動評価

店舗陳列などの購買行動評価

WEBサイト評価

WEBサイト評価

デジタルサイネージ評価

デジタルサイネージ評価

カメラについて

「視線検出技術」は、3Dセンシングを実現する「ToFカメラ(CIS社製:DCC-RGBD1)」、または、市販のWebカメラ、デバイス搭載カメラなどの「可視光カメラ」をご利用いただけます。ニーズをクリアできる、用途に合ったカメラを選定することが重要です。ご不明な点は、遠慮なくお問合せください。

ToFカメラ「DCC-RGBD1」概要

ToFカメラ「DCC-RGBD1」

「ToFカメラ」は、通常の2D(RGB)画像だけでなく、深度(距離情報)も画像データとして取得することが可能です。
中でもCIS社の「DCC-RGBD1」は、「可視光センサ」「赤外線センサ」「Depth(デプス)センサ」の3つのセンサが単一の基板上に組み込まれており、55×50×40mmという小型サイズが特徴のカメラです。

CIS社ToFカメラ | Webカメラ 比較表

CIS社ToFカメラ Webカメラ
デバイス名 DCC-RGBD1 Logicool c270n
製品URL https://www.ciscorp.co.jp/product/camera_detail.php?rec_id=164&group_flag=70 https://www.logicool.co.jp/ja-jp/product/hd-webcam-c270n#specification-tabular
サイズ 55mm(W) x 50mm(H) x 35mm(D) 70mm(W) x 32mm(H)
センサ 可視光(RGB)
赤外光(IR) ×
深度(Depth) ×
センサ解像度 RGB : 1280 x 960
IR : 640 x 480
Depth : 640 x 480
1920 x 1080
1600 x 1200
1280 x 960
1280 x 720
などに対応
照度環境 日中・明所
夜間・暗所 ×
距離計測※1 視線検出
対応OS Windows OS
Ubuntu OS
Windows OS
各種Linux OS
iOS
Android OS
mac OS
給電 DC12V 3A 給電 USB給電
カメラ設定 調整可能※2
(開発用SDKあり)
変更不可
カメラレンズ 変更可能
M12 Mount
変更不可
FOV 60°
フォーカスタイプ 固定フォーカス 固定フォーカス
シャッター グローバルシャッター方式

※1 弊社SDK利用の場合 ※2 カメラAPIに定められたもののみ

提供形態

「視線検出技術」は、現在「SDK (ソフトウェア開発キット)」「検証用アプリケーション(Windows版)」を販売しています。
ソリューションをご希望の方、アプリケーション委託をご希望の方、お見積もり等はお気軽にお問合せくださいませ。

他社製品との特徴比較

視線検出やアイトラッキングなどの視線を検出する技術は、「接触タイプ」「非接触タイプ」の2種類があります。実際のご利用環境や、ニーズに合わせた技術の選択が大切です。

接触タイプ センサー 提供形態 備考
当社 非接触 可視光カメラ
ToFカメラ
SDK/ソリューション パナソニック&
自社特許活用
N社 非接触 可視光カメラ ソリューション 遠隔の視線も推定可
F社 非接触 赤外線カメラ
+赤外線LED
据え置き型&分析アプリ&API、ソリューション
T社 接触 赤外線カメラ
+赤外線LED
据え置き型、ウェアラブルグラス、ソフトなど アイトラッキング技術
F社 接触 赤外線カメラ
+赤外線LED
ウェアラブルHMD HMD=ヘッドマウントディスプレイ

「視線検出技術」の導入フロー

「視線検出SDK」をご購入いただく場合の参考フローです。はじめに「開発版ライセンス」をご購入いただき、PoCや実証実験で問題がなければ「商用版ライセンス」に移行して運用開始の流れです。
導入に関するご質問や、お見積もりのご依頼は「お問合せ」よりお気軽にご連絡くださいませ。
まずは触ってみたい場合には、「検証アプリケーション」のご提供も行っております。

資料

本技術の資料を無料でダウンロードできます。ぜひご利用ください。

視線検出技術SDK
インターフェース仕様書

ページ数 / 51ページ

視線検出技術のインターフェース仕様書です。

PDFダウンロード
PDFダウンロード

Windowsアプリ(カメラ入力版)
ご利用ガイド

ページ数 / 60ページ

「Windows用アプリ」(カメラ入力版)のご利用ガイドです。

PDFダウンロード
PDFダウンロード

Windowsアプリ(ファイル入力版)
ご利用ガイド

ページ数 / 58ページ

「Windows用アプリ」(ファイル入力版)のご利用ガイドです。

PDFダウンロード
PDFダウンロード

視線検出技術SDK
.NETアプリ組み込みマニュアル

ページ数 / 28ページ

視線検出技術SDKを.NETアプリに組み込むためのマニュアルです。

PDFダウンロード
PDFダウンロード

FAQ(よくある質問)

Q視線検出が可能な距離はどれくらいですか?
A現在は、1m以内でのご利用を想定しています。それ以上の距離をご希望の場合はお問合せください。
Qスマホアプリやタブレットアプリにも活用できますか?
A視線検出SDKは特殊なカメラが不要なため、iPhoneなどの「デバイス搭載カメラ」でご利用いただけます。そのため、スマホアプリ・タブレットアプリでもご利用可能です。
Q提供OSを教えてください
AWindows/iOS/Android/Linux/Mac/Raspbian OS等に対応しています。
詳細やバージョン情報、その他のOS希望がある方は、どうぞお気軽にお問合せくださいませ。
Q提供方法を教えてください
A現在は「SDK(ソフトウェア開発キット)」と、「検証用アプリケーション」のご提供が可能です。
お客様に合わせたソリューション開発の受託も行っておりますので、ご要望やお見積もりは
「お問合せフォーム」よりご連絡ください。
QSDKとはなんですか?提供形態を教えてください
ASDKとはSoftware Development Kitの略で、お客様のアプリケーションに組み込むための開発キットです。
C++インターフェースのヘッダーファイルと動的リンクライブラリ、サンプルアプリ、マニュアルが付属しています。
Q処理速度はどのぐらいですか?
Aマシンスペックにもよりますが、Core i5/メモリ8GB程度のマシンであれば秒間約5〜7フレーム処理可能です。RaspberryPi4程度であれば秒間2〜3フレーム処理可能です。

お問合せフォーム


会社名(法人名)必須
所属部署
ご担当者名必須
電話番号必須
メールアドレス必須
ご利用用途必須 開発版ライセンス 商用版ライセンス 研究用途 情報収集 その他
プラットフォーム必須 iOS  AndroidOS  WindowsOS  LinuxOS  その他  未定
お問合せ内容必須

 プライバシーポリシーに同意する



Top
Top