From 360be91958adf6e2e13d7a20b103b1208439bfb1 Mon Sep 17 00:00:00 2001 From: MaoXianxin Date: Thu, 3 Jun 2021 17:45:25 +0800 Subject: [PATCH] =?UTF-8?q?10=E5=80=8DGPT-3=EF=BC=81=E5=85=A8=E7=90=83?= =?UTF-8?q?=E6=9C=80=E5=A4=A7=E9=A2=84=E8=AE=AD=E7=BB=83=E6=A8=A1=E5=9E=8B?= =?UTF-8?q?=E2=80=9C=E6=82=9F=E9=81=932.0=E2=80=9D=E9=97=AE=E4=B8=96?= =?UTF-8?q?=EF=BC=9A9=E9=A1=B9=E4=B8=96=E7=95=8C=E7=AC=AC=E4=B8=80?= =?UTF-8?q?=EF=BC=8C=E5=A4=9A=E9=A1=B9=E4=BB=BB=E5=8A=A1=E9=80=BC=E8=BF=91?= =?UTF-8?q?=E5=9B=BE=E7=81=B5=E6=B5=8B=E8=AF=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...345\233\276\347\201\265\346\265\213\350\257\225.md" | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git "a/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" "b/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" index d0227a0..4608c27 100644 --- "a/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" +++ "b/10\345\200\215GPT-3\357\274\201\345\205\250\347\220\203\346\234\200\345\244\247\351\242\204\350\256\255\347\273\203\346\250\241\345\236\213\342\200\234\346\202\237\351\201\2232.0\342\200\235\351\227\256\344\270\226\357\274\2329\351\241\271\344\270\226\347\225\214\347\254\254\344\270\200\357\274\214\345\244\232\351\241\271\344\273\273\345\212\241\351\200\274\350\277\221\345\233\276\347\201\265\346\265\213\350\257\225.md" @@ -6,7 +6,7 @@ 2021年1月，距离GPT-3问世不足一年，Google重磅推出Switch Transformer模型，将参数量提升到1.6万亿，成为人类历史上首个万亿级语言模型。然而，人们对预训练语言模型的想象远不止如此，随着算力的提升，大数据的涌现，越来越多学术机构和企业加入”炼大模型“的行列，在这场激烈的军备赛中，谁将成为下一位赢家？ -6月1日，2021北京智源大会在中关村国家自主创新示范区会议中心如期拉开大幕，开幕式上，清华大学教授，智源研究院学术副院长唐杰重磅发布了超大规模智能模型**“悟道2.0”。** +6月1日，2021北京智源大会在中关村国家自主创新示范区会议中心如期拉开大幕，开幕式上，清华大学教授，智源研究院学术副院长唐杰重磅发布了超大规模智能模型“悟道2.0”。 ![](https://maoxianxin1996.oss-accelerate.aliyuncs.com/codechina/20210603173505.png) @@ -63,13 +63,13 @@ FastMoE在提升预训练模型参数量方面有着巨大的潜力。 ![](https://maoxianxin1996.oss-accelerate.aliyuncs.com/codechina/20210603173656.png) -**高效模型：**首创纯非欧空间模型，50%参数量即可达到近似欧式模型的效果。 +高效模型：首创纯非欧空间模型，50%参数量即可达到近似欧式模型的效果。 -**高效训练：**首创预训练语言模型融合框架“知识继承”，可使训练时间缩短 27.3%，速度提升37.5%。它的核心思想是提取已有的小预训练语言模型模型蕴藏的“隐式”知识，并将其注入超大规模模型当中。 +高效训练：首创预训练语言模型融合框架“知识继承”，可使训练时间缩短 27.3%，速度提升37.5%。它的核心思想是提取已有的小预训练语言模型模型蕴藏的“隐式”知识，并将其注入超大规模模型当中。 -**高效微调：**首创基于检索的半监督少样本的微调算法Prompt，只要需训练0.2%数据即可达到完整数据训练90%的效果。 +高效微调：首创基于检索的半监督少样本的微调算法Prompt，只要需训练0.2%数据即可达到完整数据训练90%的效果。 -**高效推理：**首创低资源大模型推理系统，单机单卡GPU即可以进行千亿参数规模的模型推理。 +高效推理：首创低资源大模型推理系统，单机单卡GPU即可以进行千亿参数规模的模型推理。 ## 悟道2.0创新算法，刷新9项纪录 -- GitLab