分词是什么分词就是把一段连续的文字拆成一个个词单元，让程序或人能基于词来处理句子。比如中文句子常常字连着写，分词会把句子整理成清晰
【什么是分词】在自然语言处理（NLP）中，分词是一个基础而重要的步骤。它指的是将一段连续的文本按照一定的规则切分成有意义的词语或符号
