tokenize的中文,tokenizertokenize

用到的函数nltksent_tokenizetext #对文本按照句子进行分割 nltkword_tokenizesent #对句子进行分词 二NLTK进行词性标注 用到的函数nltkpos_tagtokens#tokens是句子分词后的结果，同样是句子级的标注 三。

用传统方法VSM做了个文本分类，然后发了一篇异常水的论文，算是入门NLP开始看NLP里面最简单的应用，句子相似度计算的任务个人感觉从易到难的学习会比较容易上手这个过程中先后学习了Word2vecCNN看的cs231n。

使用tokenize函数后，会获得一个词语信息的元组，元组中的第一个元素是分词得到的结果，第二个元素是词的起始位置，第三个元素是词的终止位置除了本文介绍的jieba分词工具包以外，还有很多好用的中文分词工具，比如。

对两个生成句和参考句word piece进行tokenize分别用bert提取特征，然后对2个句子的每一个词分别计算内积，可以得到一个相似性矩阵基于这个矩阵，我们可以分别对参考句和生成句做一个最大相似性得分的累加然后归一化。

不过引荐两本书籍给刚刚触摸NLTK或许需求具体了解NLTK的同学 一个是官方的Natural Language Processing with Python，以介绍NLTK里的功用用法为主，一起附带一些Python常识，一起国内陈涛同学友情翻译了一个中文版，这儿可以。