部分的に平等主義のLASSO - himaginary’s diary

部分的に平等主義のLASSO - himaginary’s diary

ビッグデータから予測に使う説明変数を選択する手法について、5/27に紹介したNY連銀ブログエントリでは...概要を表示 ビッグデータから予測に使う説明変数を選択する手法について、5/27に紹介したNY連銀ブログエントリでは、以下の2つがある、と説明している。 疎モデル技法は、多数の説明変数候補から、予測力の最も高い説明変数の小集合を選択することに焦点を当てる。その対極に位置する稠密モデル技法では、予測においてはすべての説明変数候補が重要かもしれない、と考える。ただし、説明変数の中には影響が小さいものもあるかもしれない。その洞察は、サンプルにおける情報が劣後しているものについて推計パラメータを事実上強制的に小さくして過剰適合を避ける、という縮退ないし正則化技法の使用を正当化する。 発想は似ているが、この2種類の手法は予測の正確性という点で異なる可能性がある。また、ある係数を押し下げるという縮退を伴う稠密モデルと、ある係数をゼロにするという変数選択を伴う疎モデルとの間には、根本的な違いが存在する。 同エントリの