tokenize的中文,tokenizertokenize

用到的函数nltksent_tokenizetext#对文本按照句子进行分割nltkword_tokenizesent#对句子进行分词二NLTK进行词性标注用到的函数nltkpos_tagtokens#tokens是句子分词后的结果，同样是句子级的标注三。用传统方法VSM做了个文本分类，