中文tokenizer_中文tokenizer算法

分词器是专门处理分词的组件，分词器由以下三部分组成同时Analyzer三个部分也是有顺序的，从图中可以看出，从上到下依次经过CharacterFilters，Tokenizer以及TokenFilters，这个顺序比较好理解，一个文本进来；HCT也是一个通用的中文分词工具HCT全