文章预览
SentencePiece一个google开源的自然语言处理工具包
2023年08月22日
222 字
SentencePiece是一个google开源的自然语言处理工具包。数据驱动、跨语言、高性能、轻量级——面向神经网络文本生成系统的无监督文本词条化工具
SentencePiece的用途不限于自然语言处理，，蛋白质的一级结构是氨基酸序列，需要研究氨基酸序列片断，片断的长度又是不固定的，就可以用SentencePiece进行切分。
官方网站
阅读全文
浏览
评论