弱学習器

- 勾配ブースティングとは 勾配ブースティングは、機械学習の分野において、特に高い予測精度を実現する方法として知られています。 この手法の特徴は、複数の精度の低い学習器を組み合わせることで、最終的に１つの高精度な学習器を作り出すという点にあります。 個々の学習器は、単独では満足のいく予測精度が得られない、いわば「弱い」学習器です。 しかし、勾配ブースティングでは、この弱点を克服するために、弱学習器を順番に学習させていきます。 まず、最初の弱学習器は、与えられたデータに対して可能な限り予測を行います。 当然、この段階での予測精度は高くありません。 そこで、次に学習させる弱学習器は、前の弱学習器が間違えた予測を重点的に学習するように調整されます。 このように、勾配ブースティングは、前の学習器の誤りを次の学習器で修正していくというプロセスを繰り返すことで、徐々に全体の予測精度を高めていきます。 最終的には、全ての弱学習器の予測結果を組み合わせることで、単独では達成できない高い精度を実現する「強い」学習器が完成します。