钛媒体6月1日消息,由北京智源人工智能研究院(以下简称智源研究院)主办的2021北京智源大会今日开幕,会上发布了智源“悟道”万亿参数智能预训练模型,将构建“大模型、大平台、大生态”。
与3月20日发布的中国首个超大规模智能模型“悟道1.0”相比,此次发布的2.0版本实现了1.75万亿参数规模的预训练,超过此前OpenAI开发的第三代生成式预训练Transformer(GPT-3)10倍以上,成为全球最大的大规模智能模型系统。
据智源研究院学术副院长唐杰介绍,“悟道2.0”已取得多项国际领先的AI技术突破:统一了文本与视觉两大主阵地,训练出包括中文、多模态、认知、蛋白质预测在内的系列模型,颠覆了传统人工智能模型的单一任务模式,在图文生成、诗词创作、智能问答等任务上均接近人类水平;首次在100%国产超算上训练了万亿模型,打破原来只能用GPU来训练模型的局面,同时实现了中英双语在4.9T高质量清洗数据上训练;搭建全流程高效预训练框架,提升大规模预训练模型的产业普适性。
会上,包括新华社、美团、快手、小米、360在内的20余家企业,签约加入悟道生态联盟,将共建开发社区,赋能产业创新。
值得注意的是,智源研究院与小冰联合打造的虚拟大学生“华智冰”当日亮相,其以“悟道”为内核,已掌握写诗、绘画、作曲等技能,接下来将进入清华唐杰实验室学习,增进自己的能力。