9月7日,在2023腾讯全球数字生态大会上,腾讯混元大模型正式亮相,并通过腾讯云对外全面开放。
据悉,混元大模型是由腾讯全链路自研的通用大语言模型,拥有超千亿参数规模,预训练语料超2万亿tokens。据腾讯集团副总裁蒋杰介绍,该大模型是从零开始训练,公司掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。
腾讯混元大模型具有强大的中文理解与创作能力、逻辑推理能力,以及可靠的任务执行能力,在解决大模型常见的“幻觉”问题上取得了明显进步。针对大模型容易“胡言乱语”的问题,腾讯优化了预训练算法及策略,让混元大模型的幻觉相比主流开源大模型降低了30%至50%。
同时,通过强化学习的方法,让模型学会识别陷阱问题,可以拒绝回答不恰当的用户问题;通过位置编码优化,提高了超长文的处理效果和性能。
目前混元大模型已经接入腾讯50多个业务,包括腾讯云、腾讯广告、腾讯游戏、腾讯会议、腾讯文档、微信搜一搜和QQ浏览器等业务和产品,同时取得了不错的效果。
未来它将作为腾讯云MaaS服务的底座,客户不仅可以直接通过API调用混元,也可以将混元作为基底模型,开发不同产业场景的应用。