ad1
中国企业家新闻网 > 财经> 文章详情页

北京智源发布悟道3.0大模型系列

感谢IT之家网友华南吴彦祖、肖战割割的线索投递! ,在“2023北京智源大会”上,北京智源人工智能研究院发布悟道3.0大模型系列,包含悟道?天鹰语言大模型系列、“天秤(FlagE...

感谢IT之家网友 华南吴彦祖、肖战割割 的线索投递!

,在“2023 北京智源大会”上,北京智源人工智能研究院发布悟道 3.0 大模型系列,包含悟道?天鹰语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道?视界视觉大模型系列。

IT之家附详细内容:

  • 悟道?天鹰 Aquila 语言大模型是第一个中英文双语大模型,支持商用、符合数据合规要求,在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B 和 AquilaChat 对话模型,即 70 亿参数、330 亿参数的基础模型,AquilaCode 文本代码生成模型。

7B、33B 在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,在 Aquila 的训练过程中实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。

AquilaCode-7B 代码模型,是基于 Aquila-7B 基础模式的代码模型,它也是 7B,用小数据集、小参数量实现了高性能,支持中英双语。

  • 大语言模型评测体系“天秤”在能力、任务、指标三个维度上建立了全方位的评测体系,包括 30 多种能力,加上 5 种任务,再乘以 4 大类的指标,总共差不多 600 维的评测体系。目前天秤开源大模型评测体系已经面向公众开放注册申请。在硬件方面支持英伟达、华为的昇腾、寒武纪、昆仑芯等多种芯片架构,以及 PyTorch 等多种深度学习框架。

  • 视觉大模型方面,智源大会公布了在多模态序列中补全一切的多模态大模型 Emu、最强十亿级视觉基础模型 EVA、性能最强开源 CLIP 模型 EVA-CLIP、首创了上下文图像学习技术路径的通用视觉模型 Painter、分割一切的视界通用分割模型、以及首个零样本视频编辑方法 vid2vid-zero 等成果。

文章来源:IT之家

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

育碧游戏《极限国度》上线Steam,
标准版74.5元 豪华版99.5元 黄金版124.5元 终极版...
奥特维前次定增实控人浮盈1.5倍,子
奥特维2020年5月上市以来,股价自发行价23.28元/股曾一路冲上428.84...
金融智库