正規化、クレンジング

■チェック用語

・正規化
      データを一定のルールに従って変形し、利用しやすくすることです。
      データを効率よく扱えるように整理することです。

・クレンジング
      クレンジングとは洗浄という意味です。
      正規化やデータの比較解析が可能なように、テーブルごとのバラツキなど、
      データを補正します。
      データ解析が可能な形にデータを修飾することです。

■データマイニングの全体プロセス
１）データ収集
２）選択
３）クレンジング　正規化、補正、データの変換
４）データマイニング
５）視覚化
６）解釈・意思決定

データの変換というのは、
変動比を出す場合なと、集団間のデータを比較する場合、データは統計的に
意味のある代表値に置き換える必要があります。
代表的なものに、平均値（mean）、中央値（median）、最頻値（mode）が
あります。

データマイニングの方法としては、
数理統計学的方法（統計的有意差検定、回帰分析）、決定木、多変量解析
（重回帰分析、判別分析、主成分分析、クラスター解析）、
ニューラルネットワーク、遺伝的アルゴリズムなどが用いられます。