在自然语言处理领域中，机器学习模型通常以Token作为其输入单位。Token可以被理解为文本中的最小单位，在文本处理中，Token可以是一个词语、数字、标点符号、单个字母或任何可以成为文本分析的单个元素。

在GPT模型中，首先会对输入的文本进行预处理，将其切分成Tokens。这些Tokens会被输入到模型中，经过一系列的Transformer层处理后，最终生成回复。