ブースティング 【boostng】

概要

ブースティング（boostng）とは、機械学習におけるアンサンブル学習の一種で、モデルが予測を間違えたデータの重み付けを増してモデルを再構築するというプロセスを繰り返し、精度を向上させていく方式。

アンサンブル学習は機械学習の精度や安定性を向上させるテクニックの一つで、方式や教師データの異なる複数のモデルを作って組み合わせる。ブースティングは同じ手法でモデルの再構築を繰り返す手法で、前回の誤りに正解できるようにパラメータを調整していく。

最初に、用意した教師データで訓練した、基本となるモデルを作成する。このモデルにデータを与えて予測させ、不正解だったデータの重みを増して次のモデルの教師データに反映する。同様に、2番目のモデルが誤ったデータの重みを増して3番目のモデルを学習させる。

このプロセスを繰り返して複数のモデルを作成する。予測を行う際には、基本モデルから最終モデルまですべてのモデルにデータを与えて予測させ、各モデルの出力した値の重み付け平均を取るなどして一つに統合し、最終的な結果とする。

ブースティングは予測と正解のズレ（バイアス）を減らし、精度の改善が期待できるが、教師データに過剰に適合する過学習を起こしやすいとされる。モデル生成を逐次的（直列的）に順番に行うため、学習に時間がかかる難点もある。具体的な手順の違いにより、勾配ブースティング、AdaBoost、XGBoost、LightGBMなど様々なアルゴリズムが提唱されている。