diff --git a/README.md b/README.md index bd57ba27f22a8cc48596a1e3ec35d0a55d60c8ec..3d0b3184b0bf11e3a7487c6167f996f90f20a992 100644 --- a/README.md +++ b/README.md @@ -9,7 +9,10 @@ * 评测体系来自基本的分类 * eval_set/ * 体系化设计的评测用例 - * 从简单到复杂的编程粒度设计 + * 从简单到复杂的编程粒度设计 + * 代码补全能力评测集 + * eval_set/humanval-x + * 来自: * llm_set/ * 大模型配置列表,配置每一种大模型的元数据 * src/ @@ -19,5 +22,5 @@ ## 同类评测项目 1. 斯坦福大学的评测:AlpacaEval Logo Leaderboard -2. https://github.com/the-crypt-keeper/can-ai-code -3. https://github.com/THUDM/CodeGeeX/tree/main/codegeex/benchmark \ No newline at end of file +2. +3. diff --git a/eval_set/1.function/01.md b/eval_set/1.function/01.md new file mode 100644 index 0000000000000000000000000000000000000000..58b666d89055867910547bad8737c7033de9ed78 --- /dev/null +++ b/eval_set/1.function/01.md @@ -0,0 +1,5 @@ +# 请使用Python实现一个函数,输入参数为1-50,输入数字1返回①,输入数字2返回②,以此类推 + +# 实现一个javascript小函数,不使用正则表达式,解析MarkDown,返回行内数学公式列表,条目包含位置和文本信息,例如输入“xxxx$\frac{1}{2}$xxx$\sum_{i=1}^{n}x^i$”,返回[{"pos":[4,16],"formula":"\frac{1}{2}"}{"pos":{20,38},"formula":"\sum_{i=1}^{n}x^i"}] + +# 请实现一个Java函数getImgWidthAndHeightByMeta,从图片格式的元数据里提取图片的宽高信息,输入参数是InputStream参数,同时考虑图片的旋转方向,要求支持png,jpeg,gif格式 diff --git a/eval_set/2.data_structure_and_algo/01.md b/eval_set/2.data_structure_and_algo/01.md new file mode 100644 index 0000000000000000000000000000000000000000..e69de29bb2d1d6434b8b29ae775ad8c2e48c5391