报告

华西证券：计算机：微软开源Deep Speed Chat，坚定看好算力设施

admin2023-04-13 21:30 239人已围观下载完整内容

简介事件概述:2023年4月12日，微软宣布开源了DeepSpeedChat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT。核

事件概述:

2023年4月12日，微软宣布开源了DeepSpeedChat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT。

核心观点:

微软开源DeepSpeedChat，人人拥有ChatGPT时代已来临:ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过DeepSpeedChat可以突破这些训练瓶颈，达到最佳效果。DeepSpeedChat拥有强化推理、RLHF模块、RLHF系统三大核心功能。强化推理方面，可实现简化ChatGPT类型模型的训练和强化推理；DeepSpeed-RLHF模块方面，复刻了InstructGPT论文中的训练模式，并确保包括监督微调（SFT）、奖励模型微调和基于人类反馈的强化学习在内的三个步骤。DeepSpeed-HE能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自DeepSpeedInference的各种优化。此外，DeepSpeedChat在成本、效率、扩展性等方面非常优秀，效率方面，此模型高效且节省成本，只在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个OPT-30B模型。这两种训练分别花费不到300美元和600美元。

DeepSpeedChat高效赋能AI行业，显著提升效率并降低成本，我们认为AIGC百花齐放的时代已经到来。我们认为微软此次开源DeepSpeedChat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。效率方面，根据华尔街见闻消息，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。我们认为通过DeepSpeedChat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。我们认为AIGC百花齐放的时代已经到来，原因是DeepSpeedChat显著降低训练门槛，中小厂商有望以更低的成本加速实现类ChatGPT的开发，并显著降低成本，AIGC百花齐放的时代正式来临，我们认为金融、办公、医疗、智能助理、XR、智能助手、智慧音响等领域有望率先赋能。

再此重申强调ChatGPT的竞争本质即大模型储备竞赛，算力是打造大模型生态的必备基础，算力在大模型的背景下势必迎来大爆发。算力是训练大模型的底层动力源泉，一个优秀的算力底座在大模型(AI算法)的训练和推理具备效率优势，其中包括AI服务器、AI芯片等为核心产品。大模型参数呈现指数规模，引爆海量算力需求。根据财联社和OpenAI数据，ChatGPT浪潮下算力缺口巨大，根据OpenAI数据，模型计算量增长速度远超人工智能硬件算力增长速度，存在万倍差距。运算规模的增长，带动了对AI训练芯片单点算力提升的需求，并对数据传输速度提出了更高的要求。根据智东西数据，过去五年，大模型发展呈现指数级别，部分大模型已达万亿级别，因此对算力需求也随之攀升。

投资建议:

我们认为ChatGPT等大模型的出现，势必引爆算力需求。受益标的为:首都在线、寒武纪、海光信息、浪潮信息、中科曙光、景嘉微、龙芯中科、神州数码、拓维信息、广电运通、云赛智联、青云科技、优刻得、光环新网、新炬网络、工业富联等。

报告

华西证券：计算机：微软开源Deep Speed Chat，坚定看好算力设施

相关文章

文章评论

评论0

站点信息

点击排行

本栏推荐

标签云

猜你喜欢