diff --git "a/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" "b/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" index d0227a0dfd03cad373bc6a01fdda6f0fa0fc1f0d..4608c27ed6631bb2790901497a8f133087827af5 100644 --- "a/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" +++ "b/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" @@ -6,7 +6,7 @@ 2021年1月,距离GPT-3问世不足一年,Google重磅推出Switch Transformer模型,将参数量提升到1.6万亿,成为人类历史上首个万亿级语言模型。然而,人们对预训练语言模型的想象远不止如此,随着算力的提升,大数据的涌现,越来越多学术机构和企业加入”炼大模型“的行列,在这场激烈的军备赛中,谁将成为下一位赢家? -6月1日,2021北京智源大会在中关村国家自主创新示范区会议中心如期拉开大幕,开幕式上,清华大学教授,智源研究院学术副院长唐杰重磅发布了超大规模智能模型**“悟道2.0”。** +6月1日,2021北京智源大会在中关村国家自主创新示范区会议中心如期拉开大幕,开幕式上,清华大学教授,智源研究院学术副院长唐杰重磅发布了超大规模智能模型“悟道2.0”。 ![](https://maoxianxin1996.oss-accelerate.aliyuncs.com/codechina/20210603173505.png) @@ -63,13 +63,13 @@ FastMoE在提升预训练模型参数量方面有着巨大的潜力。 ![](https://maoxianxin1996.oss-accelerate.aliyuncs.com/codechina/20210603173656.png) -**高效模型:**首创纯非欧空间模型,50%参数量即可达到近似欧式模型的效果。 +高效模型:首创纯非欧空间模型,50%参数量即可达到近似欧式模型的效果。 -**高效训练:**首创预训练语言模型融合框架“知识继承”,可使训练时间缩短 27.3%,速度提升37.5%。它的核心思想是提取已有的小预训练语言模型模型蕴藏的“隐式”知识,并将其注入超大规模模型当中。 +高效训练:首创预训练语言模型融合框架“知识继承”,可使训练时间缩短 27.3%,速度提升37.5%。它的核心思想是提取已有的小预训练语言模型模型蕴藏的“隐式”知识,并将其注入超大规模模型当中。 -**高效微调:**首创基于检索的半监督少样本的微调算法Prompt,只要需训练0.2%数据即可达到完整数据训练90%的效果。 +高效微调:首创基于检索的半监督少样本的微调算法Prompt,只要需训练0.2%数据即可达到完整数据训练90%的效果。 -**高效推理:**首创低资源大模型推理系统,单机单卡GPU即可以进行千亿参数规模的模型推理。 +高效推理:首创低资源大模型推理系统,单机单卡GPU即可以进行千亿参数规模的模型推理。 ## 悟道2.0创新算法,刷新9项纪录