先日成田・羽田で実施された出入国の実証実験の結果、誤認識率0.26%、ね。。。定義が不明な以上正確な評価は出来ませんが、仮にEERとか、言葉通りに認証システムの実力に近いものだとすれば、従来の顔認証技術の限界どころか、現在標準的に実用されている指紋や静脈すら超える凄まじい値です。あらゆる本人確認の方式を顔認証で統一する事すら可能にする、革命的な性能と言えるでしょう。
勿論、そんな話を真に受けられるわけはないし、逆に嘘と確信させられてしまうわけですが。案件継続のアピールのために盛ったにしても程があるでしょう、と。大方、判定の基準を甘くすればいくらでも作為的に下げ得るFRR（誤排除率）だけを言ってるんでしょう。生体認証一般において、その方式の精度の測定・評価においては、FRRとトレードオフになるFAR（誤受入率）と合わせて見なければ意味をなさないところ、定義も不明な数値を一つだけ出されても、むしろ誤魔化しや詭弁の類かとの疑念が深まるだけ、それもこんな通常の評価ならありえない数字を出されても、困惑するしかないのですよ。
推測ながら、おそらく本実験では、なりすまし等の不正のチェックは全くやってないのではないでしょうか。テストの対象が日本人で、かつ実験参加に同意した人だけなのだから、その時点で不正すなわちパスポート内の画像と参加者が異なる可能性は極めて低く、逆に言えば本人性は殆ど保証されたデータセットになっている事は間違いありません。当然、実際になりすましが行われる場合に想定されるような変装等の類はそもそもデータに含まれておらず、従ってなりすましのチェックは事実上なされ得ないものと推測されるのですね。
そして、参加各社はその事を当然知っていたでしょうから、今回の実験において不正の検出は不要として、本人と他人を判定する基準を極めて甘く、本来であれば当然想定されるべきなりすましがあったとしても検出し得ない程度まで緩めた判定ソフトを投入した可能性が強く示唆されるところです。とすればその結果、本人を他人と誤認識する率は極限まで下がる事になりますから、件の異常に良い誤認識率と辻褄が合うのですね。
というかそうとしか考えられません。なりすましを十分に防止可能なレベルで他人受け入れが少なく、かつ本人を弾く確率が1%未満というのは、前述の通り、もう指紋や虹彩、静脈やら、その他の顔認証とは比較にならないほど情報すなわち個人的特徴が多く変動も極めて小さい高精度な部位による認証のそれと同等か超えてすらいるわけで。仮に本当にそこまで出来るなら、入出国どころかATMとか一般の入退出とかセキュリティ用途も含め、あらゆる本人確認の殆どが顔認証で代替可能になるのですし、少しでも顔認証含め実際の生体認証に触れた経験のある人なら、もう失笑するしかないような話なわけです。んなわけないだろ阿呆か、と。
ところで、そこまで緩めてなお本人排除が残った事については、意外に思うべきか、それともそれはやり過ぎによる発覚を恐れた結果と考えるべきか。発覚を恐れたにしては行き過ぎに思われますが、まあその辺はやり直しが効かないとか、参加5社間の競争とか、色々と歯止めが効き難かった部分もあるんでしょうか。
兎も角、この辺の作為、倫理的には勿論不適切な類の話だし、国際規格等で定められている精度評価の基準等に照らしても完全に不正な筈なのですが、法務省はその辺分かっているのかいないのか。もっとも、今回の実験を行うと決めた時点で既にNECやらは後に引けない状態だった筈、今更この程度の作為をやったところで大した違いもなかっただろうし、法務省側がどうあれ、業界ぐるみで丸め込む位はどうとでもしたでしょうけれども。何せ、10年以上に渡る巨大案件の存続がかかってたんですから。
ともあれ、元々出来レースの本件の進捗にその辺の実態は何ら関係しませんから、何処からも公的な指摘・追求がなければ、これで当該計画は17年度までは継続し、さらに実際のシステム構築も含めてさらに多額の予算がつぎ込まれる見込みとなりました。こういう不正でその場をしのいでも、実際に運用されるようになれば、身も蓋も容赦もない現実に晒されるわけで、不可避的に発生するだろう本当の不正や、複雑なシステムによる人手も含めた運用コストの増加によるデメリット等が顕在化するだろう事も明白なのですが、その予想される破綻も含めて、もうどうにもならないのでしょう。遺憾な限りです。
出入国審査に顔認証導入へ＝１７年度にも、実験で精度向上－法務省
[関連記事 [IT] 顔認証による出入国審査実証実験再開]
[関連記事 [IT] 顔認証による入出国自動化に性懲りもなく復活の試み]
[関連記事 [IT] 顔認証による入出国自動化、廃案]
で、下記公式の結果報告書を読んでみたわけですが。
日本人出帰国審査における顔認証技術に係る 実証実験結果（報告）
一応本報告では認証方式評価の基本に沿ってFAR値別のFRRという形で評価されていますが、FAR0.001%、すなわち他人を誤って本人と判定する割合が10万回に1回程度になるよう厳しく判定した場合に本人を誤って他人と判定してしまう確率がA社は0.26%、D社は0.56%。やはり実際の場面ではありえないと言わざるを得ない結果です。というか、何故FAR0%の値が掲載されてないんでしょうか。特に変装等によるなりすましが無いだろうデータセット程度なら、当然誤認はゼロに設定されて然るべきところでしょうし、少なくとも参考としては必須でしょうに。やりすぎと思って自重したんでしょうか。だとしたら今更な気もするんですけれども。
ちなみにその他３社の結果は、C社が6.88%、D社が9.59%、E社が22.56%。上位２社に比べて大きく劣るC社とD社ですら、指紋認証その他に比肩する高レベルにある事になるわけですが、当然そんな筈はありません。E社だけは大きく劣っていますが、むしろこれ位の方がリアルに近いと思われるところです。この現実と建前が逆転したようなというか、もはやファンタジーとも言うべきあまりのクレイジーさに戦慄を禁じ得ません。
Posts
