この記事は，大学の授業とたまに教科書を参考に作成した記事です．
今回は画像の前処理とデモザイキング，ファイルのフォーマットについてまとめました．
画像工学に興味がある人に読んで参考にしていただけたらいいと思います．下のキーワードを見て，興味がる単語があるならぜひ読んでください．
キーワード
標本化・量子化・格子化・多段階化・RGBフォーマット・RAWフォーマット・デモザイキング・YUV・JPEGなどの画像のフォーマット・動き補償・離散コサイン変換
画像入力のための前処理
標本化・量子化
画像データの取得とデジタル化の過程では，１．空間（２次元平面）を標本化し，M×N個の受光素子単位（画素）に格子化．２．画素ごとに得られた光強度（電気信号）を量子化（A/D変換）し，多段階化する．
標本化
連続的な情報（アナログ信号）を一定の間隔で切り取る（離散化する）こと
格子化
標本化した点を，きれいな格子状（縦横に並んだマス目）に配置すること
量子化
標本化して得られた値を，有限個の段階に丸める（離散的な数値にする）こと
多段階化
量子化したうえで，単純な「白・黒」だけでなく，段階数を増やして明るさを持たせること
また，量子化後の数偽表現の段階数（またはビット数）を量子化レベルという．
２段階…２値画像（１bit画像）
多段階…濃淡画像（グレイスケール画像）
２bit画像なら４段階，４bit画像なら16段階，８bit画像なら256段階
量子化された各画素の値を画素値という．
エリアイメージセンサからの色情報の取得
フォトダイオード（受光素子）は光の強弱を検知するセンサーなので，量子化レベルを上げても濃淡（グレイ）しか表現できない．
そこでRGBフォーマット（３板式デジタルカメラで得られるデータ）とRAWフォーマット（単板式デジタルカメラで得られるデータ）を用いる．
RGBフォーマットでは，R,G,Bそれぞれの濃淡画像，計３枚分で構成されたカラー画像．つまり，１つの画素でR,G,Bそれぞれの３つの画素値を持つ．
RAWフォーマットでは，下の写真のようなベイヤ―配列のままの濃淡画像，計１枚分で構成されたカラー画像．つまり，１つの画素でR,G,Bどれか１つの画素値しか持たない．
＞＞＞各画素における他の色は推定計算（デモザイキング）が必要
デモザイキング処理のアルゴリズム
目的
RAWフォーマットからRGBフォーマットを生成（推定復元）する
各画素はベイヤ―フィルタの色の濃淡しかわからない．RAWから直接には各画素単位での色が分からない．
アルゴリズム１
注目画素（復元対称画素）から右下方向２×２画素を利用
４画素（マス）にあるRGBの画素値の平均を注目画素のR,G,Bの画素値にする．
例えば，下の写真でいうと注目マスが左上の赤で，そのマスのR,G,Bの値を考える
Rは１つしかないのでそのままの画素値，Gの画素値は注目マスから右と下のマスの画素値の合計を２で割れば求まる．Bの画素値は右下に１つしかないのでそのまま右下の画素値になる．
アルゴリズム２
注目画素（復元対称画素）中心の３×３画素の値を利用
それ以外はアルゴリズム１と同じで９画素（マス）にあるRGBの画素値の平均を注目画素のR,G,Bの画素値にする．
これら以外にも方法は多数存在する
YUVフォーマット
カラー画像フォーマットはRGBだけではない．
YUVフォーマット…Y,U,Vの３値で色表現
輝度信号（Y）
青色成分との色差（U）
赤成分との色差（V）
YUVのデータ削減
ヒトの知覚は明るさ（高度）には敏感だが，色差に対して鈍感．つまり，知覚できないなら少々間引いてもいいんじゃない？という発想．
YUVの表現割合を調整
YUV444…YUVそれぞれ同じデータ量を持つ．各データ量が同じで，３次元であるためRGBデータとデータが同じになる
YUV422…Yの画素数の比を４にし，他のデータ量を2にし，圧縮したデータ
YUV411…Yの画素数の比を４にし，他のデータ量を１にし，圧縮したデータ
YUV420…Yの画素数の比を４にし，他のデータ量を水平方向に１にし，圧縮したデータ
画像ファイルの生成
撮像装置・走査装置からの出力データをコンピュータ上での様々な利用目的のために，ファイルとして保存されることが多い．
手法なフォーマットについてはOpenCVで簡単に取り込み可能
保存方法の種類
画像データをファイルとして保存する方式は，画像データの圧縮方法の違いによって，非圧縮，可逆圧縮，非可逆圧縮方式の３つに分類さできる．
非圧縮方式は，カメラで入力されたRGB３現職の画素値をそのままの状態で保存する方法である．
可逆圧縮方式は，元の画素値の情報を圧縮しても元の情報を回復できる状態で保存する方法である．
非可逆圧縮方式は元の画素値の情報を圧縮しても回復できない状態で圧縮して保存する方法である．
主要なファイルのフォーマット
主要なフォーマットを紹介する
- BMP…非圧縮，Windowsの標準画像フォーマット．今はほぼ使われない
- TIFF…可逆圧縮，凡庸的なフォーマット
- GIF…可逆圧縮，256色しかないので写真向きではない．透明な背景にできる
- PNG…可逆圧縮，GIFの特許問題回避，主にイラスト等向き
- JPEG…基本的には非可逆圧縮，主に写真向き
- HEIC，HEIF…非可逆圧縮，高圧縮，近年のスマホ等で採用
- PBM・PGM・PPM…非圧縮，主に画像処理の学習向き
| フォーマット | 圧縮方式 | 透過 | 動画 | 特徴 |
|---|
| BMP | 無圧縮 | × | × | 超大容量・劣化なし |
| TIFF | 可逆あり | △ | × | 高品質・プロ向け |
| GIF | 可逆 | ○ | ○ | 256色・アニメOK |
| PNG | 可逆 | ○ | × | 高品質・透過可能 |
| JPEG | 非可逆 | × | × | 写真向き・小容量 |
| HEIC/HEIF | 非可逆主体 | △ | △ | 超高効率・新世代 |
| PBM | 無圧縮 | × | × | 白黒2値だけの超軽量画像 |
| PGM | 無圧縮 | × | × | グレースケール（白黒階調）画像 |
| PPM | 無圧縮 | × | × | フルカラー（RGB）の簡易画像 |
動画ファイルの生成
用語について説明しておく．
フレームレート…１秒間を構成する静止画枚数 [fps]
ビットレート…１秒間のデータ量 [bps]
圧縮率…（元のデータ量 – 圧縮後のデータ量）/ 元のデータ量
描画方式
プログレッシブ…１枚のフレームを上から全部描画していく方式
インターレース…１枚のフレームを隙間を開けて上から下に描画して，描画し終わったら隙間を再度描画していく
動画ファイルのデータ量は非圧縮の場合，膨大なデータ量になる．
動画の圧縮処理
動き補償
１．連続フレーム画像間で「動きベクトル」を検出（推定）
２．動きベクトルに基づいて原フレーム画像を予測，作成
３．予測画像と実際の画像との差分を計算
簡単に言うと毎フレーム生成しているとデータ量が膨大になるので，似ている部分はコピーして，使いまわす感じ
離散コサイン変換
JPEGでも利用されている周波数領域への変換
高周波領域のデータを削除（高周波は知覚できないため）
主要なファイルのフォーマット
主要なフォーマットを紹介する
- Motion JPEG…静止画のJPEGをフレーム画像として利用
- MPEG…動き補償＋離散コサイン変換
- MPEG-1…アナログテレビ画質用
- MPEG-2/H.262…地上波デジタル放送
- MPEG-4/H.262…主にネット利用，MPEG-2の２倍の圧縮率
- H.265…4k/8k放送，MPEG-4の２倍の圧縮率
まとめ
- 画像の標本化・量子化・得られる２値画像・濃淡画像
- RAW画像からカラー復元のためのデモザイキング
- 静止画像・動画像のフォーマット
コメント