From 6601cae4e9f2fb968f4c92f6872abebd1871a979 Mon Sep 17 00:00:00 2001 From: wangyaqi Date: Wed, 14 Jun 2023 21:32:07 +0800 Subject: [PATCH] docs: update uni-ai-intro --- docs/uniCloud/uni-ai-intro.md | 10 ++++++++++ 1 file changed, 10 insertions(+) diff --git a/docs/uniCloud/uni-ai-intro.md b/docs/uniCloud/uni-ai-intro.md index 68eaf39f8..d9bc7214b 100644 --- a/docs/uniCloud/uni-ai-intro.md +++ b/docs/uniCloud/uni-ai-intro.md @@ -91,6 +91,16 @@ llm.chatCompletion({ }) ``` +## 概念介绍@concept + +### Token@concept-token + +在大语言模型中，token是指自然语言文本中的最小粒度单位，也就是一个最小的单词或符号。通常情况下，自然语言文本是由一个一个的token组成的，每个token都具备自己的词性、词义等属性。 + +在训练大语言模型时，会使用一种称为“词向量”的技术，将每个token表示成一个向量形式，这个向量可以包含很多有用的语义信息，比如单词的词性、上下文等。模型通过这些向量来学习和理解自然语言文本，并能够完成各种任务。 + +在大语言模型处理任务的过程中，输入的文本会被转译为token输入到模型中，而输出则是从token转译到文本。输入token与输出token的长度直接影响了大语言模型所消耗的算力，所以业界通常采用基于token数量的计费模式。 + ## 后续版本计划 -- GitLab