LightGBM（Light Gradient Boosting Machine）は、Microsoft が開発した勾配ブースティングの実装です。XGBoost と同じ勾配ブースティングの原理を使いながら、独自のアルゴリズムにより学習速度とメモリ効率を大幅に改善しています。大規模データセットやカテゴリ変数が多いデータで特に威力を発揮します。
ヒストグラムベースの分割 — 高速化の秘密
LightGBM の高速化を支えるのが「ヒストグラムベースの分割」です。従来の手法がすべてのデータポイントを一つ一つ比較して最適な分割点を探すのに対し、LightGBM はデータを離散的なビン（区間）に分けてから処理します。これにより計算量が大幅に削減され、XGBoost と比べて数倍〜数十倍の速度向上を実現しています。
リーフワイズ成長とカテゴリ変数の直接処理
LightGBM は木の成長方式にも工夫があります。一般的な手法が木を「レベルワイズ（各階層を均等に成長）」させるのに対し、LightGBM は「リーフワイズ（最も損失が大きい葉だけを分割）」で成長させます。これにより、同じ計算量でより精度の高い木を構築できます。また、カテゴリ変数をワンホットエンコーディングなしで直接扱えるため、前処理の手間が省けるのも大きな利点です。
LightGBM は学習速度が非常に速いため、Qast での学習ジョブ全体の実行時間短縮にも貢献しています。大規模なデータセットを扱う場合に、特にその速度の恩恵を実感できるでしょう。
