Transformer架构是一种现代模型,计算机程序利用它来更好地理解和处理语言、文本或其他数据。
以前常用的方法是逐步处理信息,类似于从头到尾阅读一本书。
Transformer的工作方式不同:它们同时查看文本的所有部分,因此能够更好地识别关联。
这使它们特别擅长理解长文本、回答问题甚至撰写新文本。
许多知名的语言模型,如GPT或BERT,都是基于Transformer架构的。