RVMX 顔認証の検証Toolβ版(参考)

RVMX 顔認証の検証Toolβ版(参考)

概要

　RVMX 顔認証の検証Toolβ版(参考)。

　　　顔認証は多くの方法が有ります、顔に輪郭の検出のみや名前まで識別できるものが有ります。
　　顔に輪郭の検出ではカメラの自動焦点合わせや公開画像の顔ぼかしを入れたりする用途に使われています。
　　名前まで識別では中国による個人の管理や巨大ITによるクラウド認証機能などが有ります、
　　しかし、個人情報を国や企業が勝手(了解なしに)に収集しそれを利用するには問題が有ると思います。
　　中国の国により個人の顔管理は問題外としても巨大ITによる個人の顔の商売への利用も問題と思われます。
　　IBMが「顔認識AI」撤退やフェイスブックの転換点を示す「顔認識の停止」及びアマゾン・マイクロソフトも悩むその危険性(AIによる差別)などが有ります。
　　　また、認証速度もカメラやビデオを対象にするには必要となります。
　　RVMXでは今まで多年にわたり数種類の同機能の開発をしていましたが、なかなかおもような成果が出ていませんでした。
　　しかし、今回の開発で人の識別まで出来るようになったため、顔認証機能の検証用Toolとして、高速で名前まで識別する機能の可能性を確認する為に開発してみました。
　　使った技術は顔に輪郭の検出がHaar cascade(カスケード型分類器)です。高速化に向いています。
　　個人特定にはトレーニング顔データのEigenface(固有顔)との識別により行います。
　　但し、今回使ったものは顔の正面のみで、横向いたり傾いたした顔には対応していません。
　　又、複数のIPカメラでの識別も可能としています。 　　本Toolは検証用なので公開はしていませんが、今後の応用を考える為に機能紹介のみしています。
　　　　芸能人の識別例、緑の文字がシステムよりの答えです

１．回線設計よりの使い方

　　　　　回線設計とは直接関係機能の為、サンプルソフト提供機能を開発して提供できるようにしました。
　　　　これにより、興味のない人にはDVD内にも入れていない為、まったく負担になりません。

２．基本機能

　　　-1.入力画像
　　　　
　　　　　入力開始は読み取り開始ボタン/停止ボタンで停止します。
　　　　　a.USBカメラ　　USBに接続されたカメラ

　　　　　b.ビデオ録画されたファイル　対応フォーマット　wmv・mp4・m2ts
　　　　

　　　　　c.画像ファイル　対応フォーマット　jpg・png・bmp・gif
　　　　
　　　　　　　マウスの右ボタンクリックで画像の回転もできます。

　　　　　d.Webサイト　　インターネット経由での画像
　　　　

　　　　　e.IPカメラ　　　インターネットに接続された複数のカメラ対応、対応フォーマットは　thhp:,htpps:,rtsp:で始まるアドレスのもの
　　　　
　　　　　　　　　　　　　RTSPストリーミングに対してはRVMX RTSPストリームクラスを利用
　　　-2.顔の検出　　　　画像より顔を検出します。
　　　　Haar cascade(カスケード型分類器)で行います。
　　　-3.人の識別　　　　検出した顔より人を特定します。
　　　　トレーニング顔データとのEigenface(固有顔)との識別により行います。
　　　　トレーニング顔データの確認
　　　　マウスの右クリックで詳細データの確認が出来ます
　　　　　　人を選択後確定ボタンで登録画像が見えます。
　　　　
　　　　
　　　　メッセージにチェックをし、識別後不明な時などは登録用Windowが開きます。
　　　　
　　　-4.トレーニング顔データへの登録情報
　　　　登録情報画面例
　　　　a.氏名
　　　　b.英語氏名
　　　　c.グループ
　　　　d.愛称
　　　　e.会社名
　　　　f.役職
　　　　g.住所
　　　　h.e-mail
　　　　i.電話
　　　　j.性別
　　　　k.誕生年
　　　　l.前回訪問日　(自動設定)
　　　　これらは、このシステム用途により、省略しても良いです。
　　　　これらの情報は難読化して保存しています。
　　　　また、顔データはバイナリデータとして保存し、システム以外よりは見えなくなっています。
　　　　a.名刺よりデータ入力機能(画像ファイルとイメージスキャナより)
　　　　　本システムは受付補助も想定している為、名刺よりのデータ入力機能も付加しました。
　　　　　バックで使っている機能はRVMX OCRです。
　　　　読み込み前
　　　　　システム->名刺入力より
　　　　
　　　　　操作手順
　　　　　a-1.画像ファイル　　画像ファイルより選択(複数のメッシが入っていても対応)
　　　　　a-2.イメージスキャナより　事前にイメージスキャナの電源を入れて準備をしておいてください。
　　　　　a-3.複数の名刺を検出した時選択画面が出てきます。
　　　　
　　　　　a-4.事前にデータが既にあると置き換えるか確認メツセージが出てきます。
　　　　
　　　　　a-5.入力後の例
　　　　　　事前設定されていたグルーブは削除されて空白となっています。
　　　　　　しかし、その右側にグループ選択のコンボボックスが出ています。
　　　　
　　　　
　　　　　a-6.入力後の例。
　　　　
　　　-5.トレーニング顔のグループ化　　用途に応じた登録が出来るようにグループ分けしています。
　　　　　　　　　　　　　　　　　　　グループは登録用と識別用に分かれています。
　　　　登録用例
　　　　識別用例で複数選択可能です。

３．プルダウンメニュー

　　　-1.システム
　　　　
　　　　a.登録モード　　　この時は、登録を中心に動作します、不明な人を見つけると停止し、登録できるようになります。

　　　　b.自動識別　　　　画像を読み込むと、自動的に顔認識は識別を行います。
　　　　　　　　　　　　　Offの時は識別開始ボタンで行います。

　　　　c.最小検出サイズ(%)　画像の横サイズの%で指定、0の時は指定なしとなります。

　　　　d.スケールファイクター　顔の認識用パラメータです。

　　　　e.最小隣人　　　　　　　　　　〃

　　　　f.固有顔スレッショルド距離　登録顔との比較用パラメーです。

　　　　g.ビデオとWebの入力間隔(ミリ秒)　流れている画像に対して、処理間隔を指定します。

　　　　h.喋る　　　　　　個人を特定した時に名前を喋ります。
　　　　　h-1,有効
　　　　　h-2.応答　　　　挨拶的に答えます。
　　　　　h-3.RVMX_Agent　RVMXエージェントが代わりに喋ます。
　　　　　　h-3-1.有効
　　　　　　h-3-2.設定　　RVMXエージェントの設定を行います。

　　　　i.メッセージ　　　顔を認識した時に、画像に名前を描きます。
　　　　
　　　　　i-1.サイズ(画像横幅の%)
　　　　　i-2.色　　　　　メッセージの色を指定します。

　　　　j.詳細メッセージ　顔を認識した時、別途Windowに表示し、修正絵、登録が出来る機能を提供します。
　　　　
　　　　　j-1.有効
　　　　　j-2.非識別のみ　誰か分からない時のみ
　　　　　j-3.識別を1名に　最も手前に居る人のみを表示

　　　　k.カメラ
　　　　
　　　　　k-1.カメラの種類
　　　　
　　　　　k-2.IPカメラインターバル(ms)　カメラ画像の処理間隔
　　　　　k-3.IPカメラ最大待ち時間(ms)　カメラよりの応答待ち時間を指定、複数カメラ対応の為。
　　　　　k-4.IPカメラURL設定
　　　　
　　　　　　http:・https:・rtsp:で始まるアドレスを登録
　　　　　　addressの後に,画面倍率,経度,緯度を付けて画面倍率とカメラ位置を登録することが出来ます。
　　　　　　カメラ位置が有ると指定した特定の人物の移動経路を地図へ表示もできます。
　　　　　　注意:rtspで始まるURLの時はRVMX RTSP Cameraクラスのご紹介を利用しています
　　　　　　　　　その時はVCL Media player(32Bit版)のインストールが必要です。
　　　　　　　　　2023/02/04よりVCL Media player(32Bit版)のインストールがなくても動作するように変更(ただし、RVMXサーバーが動作中のみ、RVMXサーバーの支援による機能)

　　　　l.カメラ時最小Window　カメラの時、windowを最小として、RVMX Agentや音声による応答のみとすることが出来ます。

　　　　m.終了　　　　　　　ソフトを終了します。
　　　-2.登録済み顔データ　　システム学習用顔データ
　　　　
　　　　a.登録グループ　　　グループ単位で登録管理
　　　　　a-1.選択グループ
　　　　　a-2.グルーブ一覧
　　　　

　　　　　a-3.削除　　　　　　　グループの削除

　　　　　a-4.ファイル　　　　　
　　　　　　a-4-1.読み込み　　　登録グループの読み込み
　　　　　　a-4-2.保存　　　　　　　〃　　　の保存

　　　　　a-5.画像一覧　　　　　指定登録グループの登録画像の一覧
　　　　　　　　　　　　　　　　登録済み顔に対して、左右上下へ顔を開店した画像登録機能を追加、下記参照
　　　　　　　　　　　　　　元の顔
　　　　　　　　　　　　　　右へ3０度回転
　　　　　　　　　　　　　　左へ3０度回転
　　　　　　　　　　　　　　　　　RVMX 3DFace(顔を立体化)クラスの紹介
　　　　　　　　　　　　　　　　　但し、2022/4/3以前にインストール済みの時は、一度削除しサイインストールが必要となります

　　　　b.検索グループ　　　　検索対象のグループ
　　　　
　　　　　複数選択できます。

　　　　c.全データをファイル　登録済み全データに対してファイル操作を行います。
　　　　
　　　　　　c-1.読み込み　　　登録済み全データに対して読み込み
　　　　　　c-2.保存　　　　　　　〃　　　　　　　　　の保存
　　　-3.オプション
　　　　
　　　　a.ルート地図　　複数のIPカメラよりのlogデータより、識別した人の移動ルートを地図表示
　　　　　　　　　　　　ルート地図説明参照
　　　-4.Help
　　　　a.説明　　　　　　　本説明

　　　　b.バージョン　　　　バージョン表示

４．ルート地図説明参照

　　　　データは架空のものです
　　　　-1.メニュー説明
　　　　　a.システム
　　　　
　　　　　　a-1.logファイル　　logファイルの読み込み保存操作、拡張子は.rtlg
　　　　　　　a-1-1.読込み　　　保存済みファイルの読み込み
　　　　　　　a-1-2.保存　　　　logデータの保存

　　　　　　b.画像保存　　　　　　地図データの画像をファイルへ保存します。

　　　　　　c.終了　　　　　　　　画面を閉じます。
　　　　　b.地図
　　　　
　　　　　　b-1.マージン　　　　　緯度経度の範囲に対して、地図の範囲を広げます。

　　　　　　b-2.最大縦横比(1以下)　地図の最大縦横比率を設定します。

　　　　　　b-3.ルート線
　　　　　　　b-3-1.線幅
　　　　　　　b-3-2.色

　　　　　　b-4.日付
　　　　　　　b-4-1.フォントサイズ
　　　　　　　b-4-2.色

　　　　　　b-5.名前
　　　　
　　　　　　　b-5-1.フォントサイズ
　　　　　　　b-5-2.色

５．用途案

　　　　　a.受付補助　　一度訪問した人に対して、識別して情報を提供

　　　　　b.犯罪者検知　登録顔に対して複数カメラより検出

　　　　　c.識別者の経路判定　　IPカメラの位置登録により、識別者の経路を判定

　　　　　d.他　　本Toolでの精度や速度により検討

６．結果画面例

　　　-1.国会議員の識別例、顔の認識されていない人が何人かいますが、顔の認識用パラメータを変更してやり直せば検出できると思います。
　　　　

　　　-2.芸能人の識別例
　　　　顔が検出されていない人もいます
　　　　

　　　-3.ルート表示例
　　　　国内移動、データは架空のものです
　　　　海外移動、データは架空のものです

７．その他

　　　-1.当社製のソフトは略全て、日本語と英語対応となっています。切り替えはＯＳ環境で自動で切り替えます。
　　　-2.RVMX回線設計ユーザーさんで、顔認証を試してみたい方は向けに提供予定です、
　　　　　但し直接関係ない機能なのでDVDでの提供ではなくて，インターネット経由のサンプル機能提供を予定しています。
　　　　　提供機能が開発されたときは、回線設計へ付加予定です。
　　　　　回線設計とは直接関係機能の為、サンプルソフト提供機能を開発して提供できるようにしました。
　　　-3.マスク状態の認証は目の特徴検出も有りますが、未動作です。
　　　-4.横を向いた利顔を傾けたりしている時は、顔色別を他の方法に置き換える必要があるかもしれません。
　　　-5.本Toolは検証用で、開発中です。

８．関連サイト

　　　-1.RVMX 3DFace(顔を立体化)クラスの紹介
　　　-2.RVMX RTSP Cameraクラスのご紹介
　　注意：.NetFrameWork4.72以上がインストールされている必要があります。
提供ソフトのＱ＆Ａ
(有)ＲＶＭＸ