导入fromtransformersimportBertTokenizerfrompytorch_pretrainedimportBertTokenizer以上两行代码都可以导入BerBertTokenizer,transformers是当下比较成熟的库，pytorch_pretrained是google提供的源码(功能不如transformers全面)加载tokenizer=BertTokenizer.from_pretrained('bert_pretrain')数据首先定义一些数据：sents=['人工智能是计算机科学的一个分支。','它企图了解智能的实质。','人工智能是一门极富挑战性

导入fromtransformersimportBertTokenizerfrompytorch_pretrainedimportBertTokenizer以上两行代码都可以导入BerBertTokenizer,transformers是当下比较成熟的库，pytorch_pretrained是google提供的源码(功能不如transformers全面)加载tokenizer=BertTokenizer.from_pretrained('bert_pretrain')数据首先定义一些数据：sents=['人工智能是计算机科学的一个分支。','它企图了解智能的实质。','人工智能是一门极富挑战性

python导入与初始化BertTokenizerfromtransformersimportBertTokenizertokenizer=BertTokenizer.from_pretrained(pretrained_model_name_or_path='bert-base-chinese')首先定义一些数据sents=['选择珠江花园的原因就是方便。','笔记本的键盘确实爽。','房间太小。其他的都一般。','今天才知道这书还有第6卷,真有点郁闷.','机器背面似乎被撕了张什么标签，残胶还在。',]Tokenizer的几种使用方法（目前遇到的比较常用的、有新的后续补充）附上huggin

python导入与初始化BertTokenizerfromtransformersimportBertTokenizertokenizer=BertTokenizer.from_pretrained(pretrained_model_name_or_path='bert-base-chinese')首先定义一些数据sents=['选择珠江花园的原因就是方便。','笔记本的键盘确实爽。','房间太小。其他的都一般。','今天才知道这书还有第6卷,真有点郁闷.','机器背面似乎被撕了张什么标签，残胶还在。',]Tokenizer的几种使用方法（目前遇到的比较常用的、有新的后续补充）附上huggin