この記事は，大学の授業とたまに教科書を参考に作成した記事です．
今回は画像工学に入る前の導入と画像処理，画像入力装置（センサ）についてまとめました．
画像工学に興味がある人に読んで参考にしていただけたらいいと思います．下のキーワードを見て，興味がる単語があるならぜひ読んでください．
キーワード
画像処理・OpenCV・エリアイメージセンサ・CCD・CMOS・スミア現象・ローリングシャッター現象・３次元デジタルカメラ・単板式デジタルカメラ・イメージスキャナ・RGB-Dカメラ
前提知識
画像処理の対象は「視覚」データ（人の目で見えているもの，カメラやビデオカメラで得られる情報）
この記事のシリーズでは「デジタル」画像のみを扱う．つまり，コンピュータに取り組んだ画像データを扱い，代表的な取り込み方法，取り込み形式についても触れる．
静止画像と動画像
静止画像(写真)
３次元(実世界のある瞬間)２次元平面に投影したもの
動画像(ビデオ)
静止画像を時間的に連続に取得・並べたもの
画像の限界
現実世界の３次元物体は投影の仕方・方向で形状が変化
・見た目の形状変化
・重なりによる一部分不可視(「オクルージョン」と呼ぶ)
身近にあるカメラと画像処理
身近にあるカメラはスマートフォン搭載のカメラ
画像処理は
Instagram>>>変換（色変換, 境界強調）、検出（境界検出, 人物検出）、加工（別画像重畳, 顔パーツ強調）、表示
Google翻訳（Googleレンズ）>>>変換（色変換, 境界強調, 二値化）、検出（境界検出, 文字位置検出）、認識（文字認識）、加工（文字変形）、表示
まとまると，画像偽処理技術は
「見やすくする，処理しやすくする，認識，理解する」がある
見やすくする>>>明度調整，コントラスト調整，…
処理しやすくする>>>二値化，幾何学変換，…
理解する>>>文字認識，形状認識，移動物体検出，距離計測，…
画像処理の手順
１．画像処理(前処理)
２．特徴抽出(画像計測)
３．画像認識
４．画像理解
１．画像処理
後処理が容易になるように入力画像を一律に加工
例）明るさ調整，色変換，…
２．特徴抽出
加工データから色・形状などの特徴を抽出
例）輪郭抽出，物体数の計数，面積，…
３．画像認識
計測データから既知の物体に分類
例）人検出，自動車検出，部品検出
４．画像理解
認識物体の位置関係・移動などから状況理解
例）部品の欠損がある，人が歩いている
ヒトの感覚器官
ヒトの感覚器官は視覚，聴覚，嗅覚，触覚，味覚があり，五感のうち視覚がヒトの知覚の大部分を占める．つまり，画像情報は重要．これには，本能的に危険察知，対象(危険)をできるだけ遠方の段階で察知するためという説がある．
画像処理とコンピュータビジョン，OpenCV
画像処理は，画像「データ（デジタル）」を加工・補正した結果画像を出力
コンピュータビジョンはヒトの視覚間隔をコンピュータで再現・実現したもの
機械応用：マシンビジョン，ロボット応用：ロボットビジョン
画像データ処理をすべて自力で組み込むのは大変なので，ライブラリとして提供されている
ただこのシリーズではOpenCVで提供されている機能の「中身」の理解
画像データが得られるまでの手順・処理・仕組み
画像入力装置と静止画・動画フォーマット
画像は元々光学情報＞＞＞様々な変換装置を介して画像処理のために計算機で扱えるデータに変換
光学情報の取り組みとして，ヒトの目の代わりに光を感知する装置を利用
光学情報（アナログ）＞＞＞A/D変換＞＞＞２次元データ（デジタル）
このA/D変換する装置は２種類に分けられ，撮像装置と走査装置がある．
撮像装置とは，３次元から入射光を２次元データに変換し，エリアイメージセンサ（受光素子が目状に配置）を利用している装置である．
例）デジタルカメラ，ビデオカメラ
走査装置とは，１次元の入射光を１次元データ変換，移動しながら２次元化しリニアイメージセンサ（受光素子が戦場に配置）を利用している装置である．
例）イメージスキャナ，コピー機
エリアイメージセンサ
受光素子が平面的に配置されたセンサ．
種類
エリアイメージセンサには２種類あり，CCD（Charge Coupled Device）とCMOS（Complementary Metal Oxide Semiconductor）である．
CCDは，高画質，高消費電力，高価（専用の製造ラインが必要），スミア現象（電気信号の伝達方式の影響）
CMOSは，低画質，低消費電力，安価（既存のIC製造ラインを流用可能），ローリングシャッター現象（電気信号の伝達方式の影響）
初期のCMOSセンサーはとてもノイジーだった．
しかし，技術革新しあっという間に性能が向上した．
CCDはフォトセンサーによって発生した電荷を移動させ，１つの高性能な増幅器を使って電荷を信号に変える．
CMOSはフォトセンサーごとに小さな増幅器がついており，電荷を信号に変換した後，移動させる．
CCDイメージセンサ
長所）
・増幅器が高性能なため，高画質かつ低ノイズ
短所）
・電荷を運ため消費電力が高い
・CCDは電荷転送構造のためにそれぞれ伝送路に間隔が必要なため，サイズが大きくなる
・CMOSより製造プロセスが複雑でコストがかかる
・電荷を１つずつ移動させて読み取るため，フレームレートが出しにくい
・スミア現象
CMOSイメージセンサ
長所）
・各画素に増幅回路があるので，並列で一気に読み出せ，フレームレートが出しやすい
・回路をセンサーと一体化できるため，サイズが小さい
・CCDとくらべ，消費電力が低い
・製造過程が確立されており，安価・大量生産・高集積しやすい
短所）
・ローリングシャッター現象
スミア現象とローリングシャッター現象
スミア現象は周辺より極端に明るい箇所を通る直線が写る．
ローリングシャッター現象は高速に移動するものが変形して写る．
スミア現象は電荷を運んでいる際に過剰な光が入射し，過剰な電荷が発生し起こる．
ローリングシャッター現象は，CMOSイメージセンサで起きる．CMOSイメージセンサは１行ずつ電気信号を送るため，上の行と下の行の読み取り時間が違うことで高速に動くものが変形して写り，起こる．
センサ・カメラの優劣
画素数が多い方が「高解像度・高繊細」
画素あたりの受講面積が広い方が「高感度」
これらはそれぞれトレードオフの関係，一方を優先すれば他方が犠牲になる．
３次元デジタルカメラ
色の感知
受光素子は光の強度感知性能のみ＞＞＞色は感知できない（これだけだとグレースケールになる）
人の目も３色で色を認識＞＞＞３色で情報取得できれば再現できるはず＞＞＞３色式デジタルカメラ
特殊なプリズムによって光の三原色（赤，緑，青）に分光して入射，分光後の入射光それぞれ用に３枚のエリアイメージセンサを使用＞＞＞特殊プリズム＋高精度・高剛性筐体＋センサ３枚＋データ量３枚分
高価，重い，データ量大 だけど 高精度
単板式デジタルカメラ
３板式の欠点を克服するには，１枚（単板）のエリアイメージセンサで何とかならないか？＞＞＞１枚のセンサで３色の情報を取得するために工夫が必要＞＞＞単板式デジタルカメラ
受光素子ごとにことなるカラーフィルタを適用＞＞＞ベイヤーパターン
飛び飛び計測だが周辺を含めた代表計測＋色補間（画像処理）＞＞＞センサ１枚＋データ量１枚分＋色補間処理
安価，軽量 だけど 処理量大，精度低め
イメージスキャナ
リニアイメージセンサとは受光素子が線状（エリア）に配置されたセンサ
印刷物（２次元平面・時間不変）の画像取得
リニアイメージセンサを直行方向的に移動させながら順次読み取り，対象に動きがない前提で時間をかけて高精度に情報を取得する．
イメージスキャナの諸元
主走査方向…受光素子が並んでいる方向
副走査方向…センサが（物理的に）移動する方向
受光素子密度と移動制度（ピッチ）で読み取り解像度が決定
RGB-Dカメラ
普通のカメラが得る色情報（R,G,B）と深度情報（Depth）を得るカメラ
撮像装置から奥行情報も一緒に得られるカメラ
近年製品が安価に出回ることで注目
深度計測には色々方法がある
パターン投影法…パターンを投影し，観測ズレ量を計測
TOF（Time of Flight）方式…位相変化を重畳投影，位相差から反射時間を計測
まとめ
- 画像とはヒトの視覚を基準にしたデータ
- 画像取得のための装置は身近にたくさん存在
- 取得した画像データに対して手順を追って処理する
- ヒトの目の代わりとなる光学情報の読み取り装置は２種類．面（２次元）でとらえる撮像装置，線（１次元）でとらえる走査装置
- エリアイメージセンサは２種類（CCD，CMOS）
- がぞ数が多くてもそれだけでは高性能とはいえない
- センサの使い方も２種類（３板式，単板式）
- 明るさ情報に加えて距離を記録できるものもある
また，画像入力装置について理解する上で参考になった動画を下に貼っておく
凄くわかりやすいので参考にしてほしい
コメント