tokenizer.tokenize函数的简单介绍

1、packagecomitheima***10编写一个截取字符串的函数，输入为一个字符串和字节数，输出为按字节截取的字符串*但是要保证汉字不被截半个，如“我ABC”4，应该截为“我AB”，输入“我ABC汉DEF”，6。