特徴量エンジニアリング

- Bag-of-WordsとはBag-of-Words（BoW）は、文章を分析する自然言語処理において、基礎となる手法の一つです。この手法は、文章を構成する単語とその出現回数に注目して、文章の内容を把握しようとします。例えるなら、文章を単語を入れた袋と見なすことができます。その袋の中身は、単語の種類とそれぞれの単語が何回出現したかという情報だけで表現されます。文章の構成や単語の順番は無視され、あくまで単語の出現頻度だけが重要視されます。例えば、「私は猫が好きです。猫は可愛いです。」という文章をBoWで表現する場合を考えてみましょう。まず、文章中に現れる単語を列挙すると、「私」「猫」「好き」「可愛い」となります。そして、それぞれの単語の出現回数を数えると、「私1回、猫2回、好き1回、可愛い1回」となります。このように、BoWでは文章は単語の集合とそれぞれの出現回数によって表現されます。BoWは、シンプルな手法ながらも、文章の類似度判定や文書分類などのタスクで一定の効果を発揮します。しかし、単語の順番や文脈を考慮しないため、文章の意味を正確に捉えられない場合もあります。例えば、「猫は私を追いかけます」と「私は猫を追いかけます」という二つの文章は、BoWでは同じように表現されますが、実際の意味は全く異なります。このように、BoWは手軽に文章の特徴を捉えることができる一方で、文脈理解ができないという限界も抱えています。そのため、BoWを応用する際には、その特性を理解しておくことが重要です。