サブピクセルを推定する
画像処理でパターンマッチングを行った場合、実数で計測位置が得られるものが多いです。 つまり、１ドットより細かい位置を割り出し、解像度を超えたような（？）結果を返してくれます。 最少情報単位は１ドットなのに、どうして、０．５ドットずれていますなんてことが言えるのか、 ちょっと魔術っぽいではありませんか？
実験材料を用意する
実は仕事で丸マーク認識をやっていて、これだとコーナーエッジ検出が使えないので、今更ながらにドット比較によるパターンマッチングを実装し使っておりました。これだと、ドットを比較するわけですから、どうやったって答えは整数です。例えば、(3,3)を開始座標として画像を比較した時、もっとも誤差が少なかったよとか、そんな答えになります。
これでは寂しいので、サブピクセルに挑戦します。画像とは、輝度（明るさ）情報の集まりです。で、カメラで撮影された画像ってのは、よほど縮小しないかぎり常識的には、明るいところから暗いところに輝度が突然変化するなんてことはなく、ゆるやかに何ドットかけて変化します。写真を大きく拡大して影のフチを観察すればわかります。この情報をゴソゴソ処理すれば、サブピクセルの位置が推定できそうです。
まず、実験材料を用意しました。ＧＩＭＰで、６４０ドット四方のビットマップ中央に丸を書き、ぼかしを数回かけます。（以下、これを元画像）これを６４ドット四方に縮小したものを作り「画像０」とします。元画像に書いた丸を１ドット右にズラし、これを６４ドット四方に縮小したものを「画像１」、同様に２ドットズラし縮小したものを「画像２」とします。 以下は、実験に使った画像です。目には、同じに見えます。
 |
 |
 |
画像特徴の不変量は２回微分
さきほどの画像群は、６４０ドット四方の段階で、１ドット右にズラし、それを１／１０（辺比率）に縮小したのですから、０．１ドットのズレを持った画像になっているハズです。エッジの詳細はカメラで捉えたものとは異なるでしょうが、まずは実験なのでよしとします。 実験なので水平方向のみを考えます。水平ができれば、同じことを垂直にやって、斜めにズレていても、交互に２，３回やれば収束するのではないかと思います。
明るいところから暗いところ、またはその逆の変化する位置を２枚の画像から取り出し比較すればよさそうです。エッジ点は、画像の隣接する画素同士を引き算して、大きくなったところを求めればよいですが（これを微分と呼ぶ）この大きいって判定がプログラム上面倒なので、もう一回微分します。すると、エッジの箇所で、値は０を跨いで変化します。
このグラフは、ある画像の１ドット幅を横方向に見たときのイメージです。 青の線は、輝度の変化を、オレンジ線は、１回微分を、黄色線は２回微分した様子です。青が、明るさ１０付近から、４５付近に移動している途中で、黄色が０を跨いでいる様子がわかると思います。
この方法なら、画像の明るさが変わっても、コントラスト（変化量）が変わっても、ある程度まで同じようにエッジを検出することができます。しかも、どの位置で０とクロスしたか「実数」で求めることができます。 もちろん、元の輝度情報は一般的な８ビットなら０〜２５５の範囲の整数、それを１回微分した値は±２５５の整数ですから、例えば２回微分の隣接値が-10と10であっても、ああ、ちょうど真ん中あたりでゼロクロスしているなということは言えても、どの程度正確かはわかりません。カメラ映像の場合、ノイズの影響もあるでしょう。そこで、比較画像のうち、このエッジ部分と思われる地点のデータを全て計算し、平均化することにします。
注意したところとしては、明るいところから暗いところへの変化と、逆の変化では、最大傾き地点（ゼロクロス地点）が、内側または外側による可能性があるため、両方を別々に集計し、平均化すること。 それから、ノイズの影響を除去するためにある程度の変化（例えば輝度差５以上）で、かつゼロクロスしている地点のみを集計するようにしたことくらいです。プログラムでは以下のような結果を得ました。
| 画像の組み合わせ | 理論サブピクセル値 | 計算サブピクセル値 |
| 画像０と画像１ | 0.1000 | 0.0948 |
| 画像１と画像２ | 0.1000 | 0.0951 |
| 画像０と画像２ | 0.2000 | 0.1972 |
実は、この画像以外にも、さまざまな画像や、ズレ量で試しているのですが、全て計算サブピクセル量のほうが少なくでます。この原因はよくわかっていません。 0.005くらいは誤差がありますが、画像０，１，２を連続で見ても同じ画像にしか見えないのに、計算で概ね良い値が返ってくると気持ちの良いものです。
地点(35,22) 明→暗 画像Ａサブピクセル= 0.41176 画像Ｂサブピクセル= 0.31818 ２枚のズレ= 0.09358 地点(26,23) 暗→明 画像Ａサブピクセル= 0.40476 画像Ｂサブピクセル= 0.19355 ２枚のズレ= 0.21121 地点(25,24) 暗→明 画像Ａサブピクセル= 0.24000 画像Ｂサブピクセル=-0.05405 ２枚のズレ= 0.29405 地点(38,24) 明→暗 画像Ａサブピクセル= 0.29412 画像Ｂサブピクセル= 0.05405 ２枚のズレ= 0.24006 地点(24,25) 暗→明 画像Ａサブピクセル= 0.25000 画像Ｂサブピクセル=-0.04545 ２枚のズレ= 0.29545 地点(39,25) 明→暗 画像Ａサブピクセル= 0.31250 画像Ｂサブピクセル= 0.04651 ２枚のズレ= 0.26599 地点(23,26) 暗→明 画像Ａサブピクセル= 0.42169 画像Ｂサブピクセル= 0.25373 ２枚のズレ= 0.16796 地点(40,26) 明→暗 画像Ａサブピクセル= 0.12727 画像Ｂサブピクセル=-0.22951 ２枚のズレ= 0.35678 地点(22,27) 暗→明 画像Ａサブピクセル= 0.66279 画像Ｂサブピクセル= 0.53000 ２枚のズレ= 0.13279 地点(40,27) 明→暗 画像Ａサブピクセル= 0.57471 画像Ｂサブピクセル= 0.46465 ２枚のズレ= 0.11007 地点(22,28) 暗→明 画像Ａサブピクセル= 0.40426 画像Ｂサブピクセル= 0.20339 ２枚のズレ= 0.20087 地点(41,28) 明→暗 画像Ａサブピクセル= 0.18333 画像Ｂサブピクセル=-0.20635 ２枚のズレ= 0.38968 地点(41,29) 明→暗 画像Ａサブピクセル= 0.43820 画像Ｂサブピクセル= 0.29167 ２枚のズレ= 0.14654 地点(21,30) 暗→明 画像Ａサブピクセル= 0.68831 画像Ｂサブピクセル= 0.56989 ２枚のズレ= 0.11842 地点(41,30) 明→暗 画像Ａサブピクセル= 0.53261 画像Ｂサブピクセル= 0.43011 ２枚のズレ= 0.10250 地点(21,31) 暗→明 画像Ａサブピクセル= 0.62353 画像Ｂサブピクセル= 0.51546 ２枚のズレ= 0.10807 地点(41,31) 明→暗 画像Ａサブピクセル= 0.58696 画像Ｂサブピクセル= 0.48936 ２枚のズレ= 0.09759 地点(21,32) 暗→明 画像Ａサブピクセル= 0.60674 画像Ｂサブピクセル= 0.51064 ２枚のズレ= 0.09610 地点(41,32) 明→暗 画像Ａサブピクセル= 0.58696 画像Ｂサブピクセル= 0.48936 ２枚のズレ= 0.09759 地点(21,33) 暗→明 画像Ａサブピクセル= 0.70270 画像Ｂサブピクセル= 0.56667 ２枚のズレ= 0.13604 地点(41,33) 明→暗 画像Ａサブピクセル= 0.52083 画像Ｂサブピクセル= 0.43333 ２枚のズレ= 0.08750 地点(41,34) 明→暗 画像Ａサブピクセル= 0.43333 画像Ｂサブピクセル= 0.29333 ２枚のズレ= 0.14000 地点(22,35) 暗→明 画像Ａサブピクセル= 0.40426 画像Ｂサブピクセル= 0.20339 ２枚のズレ= 0.20087 地点(41,35) 明→暗 画像Ａサブピクセル= 0.14815 画像Ｂサブピクセル=-0.20339 ２枚のズレ= 0.35154 地点(22,36) 暗→明 画像Ａサブピクセル= 0.64773 画像Ｂサブピクセル= 0.53000 ２枚のズレ= 0.11773 地点(40,36) 明→暗 画像Ａサブピクセル= 0.57955 画像Ｂサブピクセル= 0.47000 ２枚のズレ= 0.10955 地点(23,37) 暗→明 画像Ａサブピクセル= 0.42169 画像Ｂサブピクセル= 0.25000 ２枚のズレ= 0.17169 地点(40,37) 明→暗 画像Ａサブピクセル= 0.12963 画像Ｂサブピクセル=-0.23438 ２枚のズレ= 0.36400 地点(24,38) 暗→明 画像Ａサブピクセル= 0.25000 画像Ｂサブピクセル=-0.06522 ２枚のズレ= 0.31522 地点(39,38) 明→暗 画像Ａサブピクセル= 0.31250 画像Ｂサブピクセル= 0.04651 ２枚のズレ= 0.26599 地点(25,39) 暗→明 画像Ａサブピクセル= 0.24000 画像Ｂサブピクセル=-0.05405 ２枚のズレ= 0.29405 地点(38,39) 明→暗 画像Ａサブピクセル= 0.31481 画像Ｂサブピクセル= 0.02778 ２枚のズレ= 0.28704 地点(26,40) 暗→明 画像Ａサブピクセル= 0.40476 画像Ｂサブピクセル= 0.18750 ２枚のズレ= 0.21726 地点(35,41) 明→暗 画像Ａサブピクセル= 0.45000 画像Ｂサブピクセル= 0.31818 ２枚のズレ= 0.13182 線形ゼロクロスによるサブピクセル推定= 0.197231
これは、画像０（テキスト中は画像Ａと表現）と画像２（テキスト中は画像Ｂと表現）のサブピクセル推定を実行したときのログの一部です。 「地点」と書かれているのは、画像０の中で、水平エッジがあると認識した地点、「画像Ａサブピクセル」とは、画像０側で、ゼロクロス位置を推定した結果です。「２枚のズレ」が、両方の画像のズレをその１エッジから計測した結果です。0.36とか、0.08とか物騒（？）な数値も出ていますが、平均化すると、0.197になるようです。
また、このデータを観察してみると、画像Ｂサブピクセルがマイナスになるケース、つまり、画像Ｂ側では、ゼロクロスが１ドット左で起きた場合に、値が高くなる傾向があるようです。逆にこれがないと、推定値は悪化する方向になります。これはバグのような気がします。ひょっとすると、ゼロクロスが２枚の画像内同一ドット間で見つからなかった場合は、別に集計、カウントし、平均化したほうが良いのかもしれません。
無作為研究所トップページに戻る