Adjusted R²（自由度調整済み決定係数）完全ガイド — 特徴量の数を正しく考慮する評価指標

Adjusted R²（自由度調整済み決定係数）は、R² の「特徴量を増やすだけで値が上がる」という弱点を補正した指標です。モデルの複雑さ（パラメータ数）を考慮し、「その特徴量を追加する価値があったか」を正しく評価します。特徴量選択やモデル比較で不可欠な指標です。

Adjusted R² とは何か

Adjusted R² は 1 - (1 - R²)(n - 1) / (n - p - 1) で計算されます。n はサンプル数、p は特徴量の数です。R² に対して特徴量の数によるペナルティを加えることで、不要な特徴量の追加による見かけ上の改善を抑制します。

なぜ R² だけでは不十分か

R² は特徴量を追加すると必ず上昇（または不変）します。ランダムなノイズの列を追加しても R² はわずかに上がります。これにより「特徴量を増やすほど R² が良くなる」という誤った判断が生じ、不要な特徴量を含む複雑なモデルが選択されてしまいます。

具体例: ランダム特徴量の追加

100件のデータで 5つの意味ある特徴量を使ったモデルの R² = 0.80、Adjusted R² = 0.79 だとします。ここに 10個のランダムなノイズ特徴量を追加すると、R² = 0.83 に上がりますが、Adjusted R² = 0.77 に下がります。Adjusted R² は「追加した特徴量が役に立たない」ことを正しく検出しています。

Adjusted R² の直感的な理解

Adjusted R² は「パラメータ数に見合った改善があったか」を評価します。自由度（n - p - 1）で補正することにより、サンプル数に対して特徴量が多すぎる場合にペナルティが大きくなります。特徴量を 1つ追加して R² が 0.001 しか改善しなければ、Adjusted R² はむしろ下がります。

R² vs Adjusted R² の判断フロー

1. 1

   両方が高い → 良いモデル

   R² も Adjusted R² も高ければ、適切な特徴量で高い説明力を持つモデルです。

2. 2

   R² は高いが Adjusted R² との差が大きい → 不要な特徴量あり

   差が 0.05 以上なら、説明力に寄与しない特徴量が含まれている可能性があります。特徴量の削減を検討しましょう。

3. 3

   特徴量を追加して Adjusted R² が下がった → その特徴量は不要

   Adjusted R² が下がった特徴量は、モデルの改善に寄与していません。除外候補です。

4. 4

   特徴量を追加して Adjusted R² が上がった → その特徴量は有効

   パラメータ数のペナルティを上回る改善があったことを意味します。

特徴量選択での活用法

Adjusted R² は特徴量選択（Feature Selection）の基準として使えます。ステップワイズ選択では、特徴量を 1つずつ追加・削除し、Adjusted R² が最大になる組み合わせを探索します。Adjusted R² が下がる特徴量は除外候補であり、モデルのシンプルさと説明力のバランスを最適化できます。

Adjusted R² の限界

Adjusted R² は線形回帰の枠組みで設計されているため、非線形モデル（決定木、ニューラルネットワーク等）の評価には必ずしも最適ではありません。また、サンプル数が非常に多い場合はペナルティが小さくなり、R² との差がほとんどなくなります。

AIC / BIC との関係

AIC（赤池情報量規準）と BIC（ベイズ情報量規準）は、Adjusted R² と同様にモデルの複雑さにペナルティを与えるモデル選択指標です。AIC は予測精度を重視し、BIC はよりシンプルなモデルを好みます。Adjusted R² は解釈がしやすく、AIC/BIC はより厳密な理論的裏付けがあります。目的に応じて使い分けましょう。

Qast での特徴量重要度との併用

Qast ではモデル詳細ページで特徴量重要度（SHAP 値）を確認できます。R² と Adjusted R² の差が大きい場合は、SHAP 値が低い特徴量を除外して再学習することで、よりシンプルで汎化性能の高いモデルが得られる可能性があります。