开设此 GPT4ALL 仓库的原因

[will-ww]

根据近期大模型赋能全民数字素养与技能提升 【GPT-DL4ALL.pdf】的总结与规划，GPT4ALL 将作为一个核心的基础设施发挥作用，特创建该仓库进行讨论~

相关文档：

• 关于开展 22-23 级同学研究课题深入与项目实践的促进贴  X-lab2017/open-research#256

[will-ww]

今天上午启动会的 PPT：GPT4ALL 启动会.pdf

[bifenglin]

目前已有的大模型Benchmark：
综合大模型评测：

• helm
• BIG-bench
• SuperCLUE
• AtomBulb
• lm-evaluation-harness

Code大模型评测：

• codefuse-evaluation
• human-eval
• bigcode-evaluation-harness
• CodeXGLUE

当然还有其他的领域的大模型评测，例如biomedical使用的生物医学数据集。

目前想整理一下Code大模型和综合大模型评测等从不同维度的对比，大家有想法的可以列举下想看大模型有哪些属性，例如：

• Benchmark Name（名称）
• Repository（仓库）
• Paper（文献）
• Dataset Number（数据集数量）
• Aspect（方面，例如Code，Agent，数学推理等等）

还有其他大模型欢迎补充，我们可以建立一个md文档进行整理。

[AliceCodeZhang]

目前大模型应用在软件研发领域的一篇综述
https://arxiv.org/pdf/2311.07989.pdf