提交 6601cae4 编写于 作者: 雪洛's avatar 雪洛

docs: update uni-ai-intro

上级 ff2a8f7d
......@@ -91,6 +91,16 @@ llm.chatCompletion({
})
```
## 概念介绍@concept
### Token@concept-token
在大语言模型中,token是指自然语言文本中的最小粒度单位,也就是一个最小的单词或符号。通常情况下,自然语言文本是由一个一个的token组成的,每个token都具备自己的词性、词义等属性。
在训练大语言模型时,会使用一种称为“词向量”的技术,将每个token表示成一个向量形式,这个向量可以包含很多有用的语义信息,比如单词的词性、上下文等。模型通过这些向量来学习和理解自然语言文本,并能够完成各种任务。
在大语言模型处理任务的过程中,输入的文本会被转译为token输入到模型中,而输出则是从token转译到文本。输入token与输出token的长度直接影响了大语言模型所消耗的算力,所以业界通常采用基于token数量的计费模式。
## 后续版本计划
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册