Tokenizer

大模型如何读懂自然语言，需要我们将文本转成机器能读懂的数字，这篇文章介绍了一些从文本到数字的算法。