面壁智能发布 Eurux-8x22B 开源大模型:代码性能超

2024-05-04 01:37:39

  面壁智能发布开源大模型 Eurux-8x22B,包括Eurux-8x22B-NCA与Eurux-8x22B-KTO,主打推理能力。

  官方测试中,Eurux-8x22B 在LeetCode与TheoremQA 测试上超越了Llama3-70B,在LeetCode 测试上超越闭源的 GPT-3.5-Turbo。

  ▲官方测试结果

  据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型对齐而来,在 UltraInteract 对齐数据集上训练而成。

  ▲官方测试数据

  UltraInteract 是专门设计用于提升大模型推理能力的大规模、高质量的对齐数据集,包含了覆盖数学、代码和逻辑推理问题的 12 个开源数据集的 86K 条指令和 220K 偏好对,共有五十万条左右数据。

下一篇:微软 Win11 Beta 22635.3570 发布,资源管理器支持复制
上一篇:与领导层薪酬挂钩,微软将安全视为新的首要任
返回顶部小火箭