多変量解析ではどの方法で変数選択したらいいですか？

変数選択法についてよく質問されるのでまとめ。

出来ることなら総当り法でするべき。SPSSやJMPでは出来無い。（いまのところ）

増加法、減少法、増減法、減増法いつどれがよいというところは整理できない。

いろんな因子がたくさん採れている中からどれを調べたら良いの？という場合は減少法だし、普段は取ってこれないデータばかりの中から説明変数を選択するなら増加がよいだろう。

この質問は数ある質問の中でもかなり上位にランク付けされる。

FAQとして認定。