過学習を防ぐ!早期終了のススメ
機械学習の目的は、これまで見たことのないデータに対しても正確な予測を行えるモデルを作ることです。しかし、モデルが学習に利用したデータの特徴に過剰に適応してしまうと、未知のデータに対する予測精度が低下してしまうという問題が生じることがあります。これが「過学習」と呼ばれる現象です。
過学習は、モデルが学習データに含まれるノイズや偏りまでも学習してしまうために起こります。例えば、りんごを見分けるモデルを学習させる場合を考えてみましょう。学習に赤いりんごの画像ばかりを用いると、モデルは「りんごは赤い」という特徴に過剰に適応してしまいます。このモデルは赤いりんごを見分ける際には非常に高い精度を示しますが、緑色のりんごを見分ける際には精度が著しく低下してしまう可能性があります。これは、モデルが「りんご=赤い」と学習してしまっているために起こります。
このように、過学習はモデルの汎用性を損ない、実用上の問題を引き起こす可能性があります。過学習を防ぐためには、学習データの量を増やす、モデルの複雑さを調整する、学習データから一部を汎化性能の評価に用いるなどの方法があります。