华为昇思大会纪要1214(附相关概念股)

专栏头像

调研纪要

放松眼睛听

线索主要标的

人工智能技术发展迅速,大模型演进不断深化,对AI框架提出新选择与新要求。昇思MindSpore AI框架自2020年启动以来,联合产学研各界,不断孵化主流大模型,培养AI开发者,支持原生论文创作,贡献开源事业。

AI框架在技术体系中承上启下,南向对接算力,北向孵化模型,是人工智能创新的核心土壤。

昇思框架作为自主创新的AI框架,在开源实践中取得显著成果,部分指标已媲美国际水平。

昇思开源社区经过4年发展,成为中国发展最快的开源AI框架:汇聚3.7万开发者,全球下载量突破1100万。已进入全球主流AI框架第一梯队,获得广泛认可。创新项目覆盖大模型孵化、科学研究、端侧应用等方向,在金融、能源、制造等行业发挥重要价值。

中国人工智能学会携手鹏程实验室、华为,共同开展人工智能昇思学术基金2.0项目,为科研人员提供经费、算力、技术支持。近年来支持200家科研团队合作,累计发表顶级论文1700多篇,居中国第一,全球第二。其中包括2篇自然子刊、2篇最佳论文以及3篇ESA高被引用论文。学术基金已成为连接学术界与企业界的桥梁,推动人工智能领域的前沿研究与应用。

党中央国务院高度重视人工智能发展,强调推动人工智能与实体经济深度融合。刚刚召开的中央经济工作会议再次指出“人工智能加行动”,为我们人工智能的发展提供了行动指南。

工信部推动人工智能发展的举措:

强化创新引领:组织“揭榜挂帅”,建设国家制造业创新中心,推动关键技术突破。

优化发展环境:发布《国家人工智能产业综合标准化体系建设指南》,夯实产业基础。

推动产业集聚:在北京、上海、杭州等11地建设国家人工智能创新应用先导区,推动场景创新。

促进国际交流:支持全球工业人工智能卓越联盟创新中心在华落地,举办世界人工智能大会,推动国际合作。

加强技术研发:围绕算力、算法、数据等底层技术加大攻关,推动软硬件适配,完善产业链。

夯实智能设施:加快5G网络和千兆光网建设,构建智能高效的融合基础设施。

拓展应用场景:以制造业为重点,形成示范性强、带动性广的重大应用场景,提升赋能水平。

完善产业生态:培育人工智能企业,推动大中小企业协同创新,支持开源社区建设,构建全球影响力的产业生态。

华为AI计算生态发展成果:

通过开放模组、板卡、部件等基础硬件,打造多样化产品;通过开放基础软件,助力开发者创新AI模型与应用。

经过5年发展:昇腾的硬件合作伙伴从5家增至50多家,开发硬件产品近千款;软件合作伙伴从100多家增至2000多家,联合开发解决方案近4000个;广泛应用于互联网、金融、政府、电信、能源、交通等行业核心场景。

昇思框架发展:昇思框架于2020年3月28日开源,携手产业界共建AI开源生态。4年来发展迅速,2024年中国市场新增份额将达30%,成为中国发展最快的AI开源框架,逐渐成为业界新选择。

在大模型引领的人工智能新局面下,昇思框架具备更高效、更敏捷、更开放的技术与生态能力,全面助力AI模型开发、训练和推理。

探索前沿分布式技术:昇思框架原生支持分布式并行能力,面向多模态、长序列、Moe等主流场景,提供多维混合分布式并行算法。

创新多模型多任务引擎,支持多模型混合编程及并行技术,为类OpenAI模型提供基础框架能力,提升万亿MV训练效率50%以上。

探索前沿分布式技术:聚焦生成式AI快速开发和端侧部署,6小时复现Llama 3 1 7B模型,天级即可完成大语言模型部署。持续优化从训练到推理的快交互能力,强化大模型在强化学习领域的推理与应用部署能力。

激发开源智慧,共促产业发展:推动科研与产业连接,与中国人工智能学会、鹏程实验室联合发布昇思论文基金,预计3年内携手50多位AI学者攀登学术高峰。

通过产业与生态联盟促进科研成果转化,推动领域数据生态机制建立,持续加速模型产业生态发展。

我国AI开源生态现状

政策支持:国家高度重视开源生态建设,工信部金壮龙部长提到鸿蒙、欧拉等典型案例。

2021年开源首次写入“十四五”规划,至2024年7月已有38项政策文件涉及开源生态建设。

产业进展:国内AI开源生态从无到有,逐步形成了要素齐备的开源体系,代表性成果包括昇思框架、阿里智谱等。

科技巨头(如华为、腾讯)与高校(如清华大学)在开源方面贡献显著,推动了大模型等技术创新。

发展成就:昇思框架跻身全球第一梯队,2023年新增市场份额达18%,2024年预计可达30%。

国内开源生态已形成科技巨头、初创企业、高校科研机构和个人开发者多方协作的创新格局。

开源发展的不足与挑战:

国内开源技术创新层面仍需努力,尤其在基础设施层与国际相比存在差距。

开源政策指导性强,但具体措施和支持力度仍需加强。

企业在AI开源投入远超高校,需进一步平衡资源分配。

未来发展方向与建议

技术内容开源:

技术内容的开源是AI发展的基础,需高校、企业和基金会共同参与。

高校院所的基础研究与企业的技术创新相辅相成,共同推动开源生态发展。

治理体系建设:

开源生态需完善治理体系,包括协同合作机制、激励机制和人才培养。

共建共治,实现开源与创新的良性循环。

深化政策支持:

加强政策落地,推动开源社区生态规范治理,促进技术创新与成果转化

智谱自成立以来的使命是“发掘创新原动力”

资源与成本挑战:

大模型训练需要大量算力与硬件资源,成本高昂(如千卡级别集群月租金达千万人民币)。

通过昇思框架的优化,大幅提升训练效率,降低成本。

技术突破:

智谱与昇思合作,实现了从0到1的技术突破,掌握了核心技术,打造全栈自主可控的创新体系。

增强分布式并行能力,提升从训练到推理的性能与一致性。

智谱与昇思的合作成果:

CodeGeeX项目:

自2020年起,智谱与昇思基于华为昇腾芯片合作,开发完全自主可控的国产大模型。

CodeGeeX已迭代至第4代,支持上百种编程语言,具备代码补全、生成、调试、联网搜索等全流程开发能力。

当前CodeGeeX在全球拥有超百万用户,日活达数十万,每天生成近2亿行代码。

多模态模型研究:

今年重点突破动态视觉理解,将图像理解拓展至视频理解,解决时间序列相关任务。

基于昇思框架,快速完成多模态模型的训练与部署,打造首个视频理解开源大模型。

训练效率提升:

在昇思框架支持下,两周内实现训练效率提升20%,显著降低成本。

多模态模型训练复杂度高,但通过双方联合攻关,快速复现核心算法并优化算子支持。

开源生态的推动与意义

智谱始终坚持开源、开放、生态化发展,昇思框架的开源特性为技术迭代与模型优化提供了重要支撑;开源生态的蓬勃发展反哺技术演进,加速了创新成果的落地;双方合作实现了1+1>2的效果,共同推动自主可控的创新生态发展。

智谱与昇思的合作展示了中国在开源生态与人工智能领域的潜力;通过坚持开源与自主创新,有信心追赶并超越世界顶尖水平,助力中国在通用人工智能(AGI)领域的突破。

腾讯机器学习平台的理念是“一念之间生成大模型,世间万象”。

机器学习平台本质是“信道”,传递算法人员和用户创意,而非“信号”。

大模型时代对平台的需求变化

用户需求变化:

微调和推理提示工程逐步兴起,用户群体扩大至非算法类人群(如设计、美术等)。

平台需要更高的易用性和更强的API对接能力。

平台优化目标:

提升易用性和性价比,关注稳定性、性能和成本优化。

打造一站式平台,让用户通过简单操作完成复杂任务,同时支持闭源模型赋能业务。

异构设计与优化

推荐系统中的异构优化:

结合信息量分布特点,稠密部分(GB级)和稀疏部分(TB级)分别存储在显存、内存和远端存储中。

通过不同硬件的分布式存储与计算,充分利用频繁访问与低频访问的特性,提升系统效率。

大模型训练中的异构优化:

针对大模型稠密特性的固化分布,通过数据并行、模型并行、流水线并行等策略提升训练效率。

利用自动化配置技术,优化资源分配,提升用户体验和训练效率。

MindSpore框架帮助实现自动化配置,提升训练性能10%。

推理优化:

针对自循环推理逻辑,手写模型优化显存调度。

底层硬件屏蔽层设计,兼容多种硬件(如英伟达、昇腾等),实现跨硬件优化。

在多人对话场景中,吞吐量提升超过6倍。

无量世界:接收更多外界信息,扩展大模型的输入能力。

一念三千:生成更多多样化的内容信息,推动多模态技术的深度应用。

长文本与RAG(检索增强生成)结合:

通过RAG技术,从无限信息中召回有限信息,实现性价比最优的模型效果。

腾讯内部正在推进“T-RAG”项目,作为公司级联合项目建设相关能力。

传统电力系统仿真的局限性

计算速度慢:每次参数变化都需重新解高阶方程,存在大量重复计算,且传统CPU难以实现并行计算。

场景覆盖有限:无法满足新能源高渗透率下的海量场景分析需求。

保守运行策略:因计算能力不足,调度系统不得不采取保守策略。

驭电智能仿真器的核心技术与优势

AI驱动的仿真技术:

基于物理约束的神经网络,通过高维空间差值计算实现秒级响应,避免大量重复计算。

Gpu/Npu并行计算能力大幅提升仿真效率。

模块化设计与迭代开发:

驭电分为三个阶段开发:

1.0版本:实现潮流计算与分析功能。

2.0版本:具备机电暂态稳定分析能力。

3.0版本:实现电磁暂态仿真(微秒级)。

当前1.0版本已实现,从0到1突破,获得全球认可(如2024年度SALL奖)。

性能提升:

基于昇思平台优化的图算子,计算速度提升近60%。

相比传统数字仿真,计算速度提高上千倍,误差小于1%,远优于工程需求的5%。

实际应用与验证

样本数据验证:

使用真实新能源出力和电力负荷数据,在标准系统中验证模型性能。

在39节点系统上构建了1900万样本集,大模型展现出良好的泛化能力和涌现现象。

应用场景:

实现毫秒级快速分析上千场景,支持海量场景生成、智能计算和自动分析。

在珠海电网试用效果显著,彻底颠覆传统电力系统分析模式。

驭电仿真器功能演示

实时调度与控制:调整风速、光照等参数后,实时更新分析结果。

故障模拟:选择任意支线作为预想故障,快速分析安全裕度和过载情况。

风险离线分析:查看全年8760小时中涉及重载风险的任意时刻潮流情况。

开源中国简介:

成立于2008年,最初是技术社区,专注于开源领域资讯与项目推荐。

2013年推出代码托管平台,目前有超过1000万开发者使用。

2020年推出研发效能平台,为企业提供内部研发管理工具。

2023年推出开源大模型平台,支持AI应用开发。

三大核心平台:

开发者生态平台

中国开源基础设施

软件开发工具平台

昇思(MindSpore)是开源中国平台上的顶尖AI开源项目,由华为主导开发。

自2019年推出以来,一直在Gitee指数中排名第一,得分高达99分(满分无100分)。

Gitee指数升级:

2022年,指数从生产力、创新力、稳健性三个维度全面升级,昇思继续稳居AI领域第一。

前沿技术跟进:

2021年,AlphaFold破解蛋白质结构预测难题,AI在生物、材料、化学、量子计算等领域取得突破。

昇思同期推出量子使能计算套件与科学使能计算套件,成为Gitee上最有价值的科研项目之一。

大模型时代的领先:

2022年,昇思推出大模型开发套件,提前布局百模大战,保持技术领先地位。

开发者活跃度:

超过10万次代码核录请求

Gitee对昇思的支持与合作

GTI大模型平台:

收录全球14,000多个开源模型,提供开箱即用的模型API,支持开发者快速开发AI应用。

在平台上设立昇思专区,提供昇思模型API服务,开发者可直接体验昇思模型的能力。

昇思社区的快速发展

社区规模增长:

贡献者数量从200增长到3.7万,代码提交突破10万次,版本下载量从10万增长到1,100万。

用户覆盖全球130多个国家、2400多座城市,基于昇思原创发表的学术论文超过1,700篇。

生态成果:

原生适配50多个大模型,支持开发、训练、微调、部署的全流程开箱即用。

孵化超过2,000个解决方案,广泛应用于互联网、金融、能源、交通等15个行业。

昇思社区的快速发展

社区规模增长:

贡献者数量从200增长到3.7万,代码提交突破10万次,版本下载量从10万增长到1,100万。

用户覆盖全球130多个国家、2400多座城市,基于昇思原创发表的学术论文超过1,700篇。

生态成果:

原生适配50多个大模型,支持开发、训练、微调、部署的全流程开箱即用。

孵化超过2,000个解决方案,广泛应用于互联网、金融、能源、交通等15个行业。

开发者成长与社区建设

四阶段成长路径:

学习阶段:提供30多个主题课程、600多场专题活动,帮助开发者掌握AI基础知识。

实践阶段:发布1,100多个实习任务、举办30多场大赛,提升开发技能。

创新阶段:提供学术论文奖励基金与项目支持,激励创新与成果转化。

回馈阶段:鼓励开发者加入技术委员会,通过布道与答疑提升个人影响力。

社区治理与激励:

由18家理事会单位、21名技术委员和18个SIG组共同管理社区发展与技术迭代。

提供算力、奖励等资源支持大模型孵化,推动应用落地。

以“千川汇海阔,逐浪天地宽”为愿景,与开发者携手共创AI全新未来。

昇思框架的使用体验:

软硬件协同:

昇思框架与NPU(神经网络处理器)的协同优化,在同等集群、模型和超参配置下,训练性能比其他框架高出15%。

训练稳定性:

在千亿参数模型训练中,最长实现了22天的稳态训练,无需人工干预。

集群性能:

集群运行线性度达到98%,为业界领先水平。

并行策略迁移优化:原本需要以周为单位的实验时间,通过模拟编译技术缩短至天级。

模型任务重启优化:模型任务重新拉起时间从小时级优化到分钟级。

开源大模型让科研人员无需从零开始训练模型,显著降低了准入门槛。

加速行业进步:

基于开源模型进行科研创新,推动整个行业快速发展。

社会责任感:

大型企业和机构通过开源回馈社会,推动AI技术普及和应用。

统一标准化:

开源模型的参数和接口标准化,方便行业使用并推动生态建设。

中国电信开源实践:

开源历程:

2022年底启动大模型研发,今年1月发布首个开源模型,随后陆续发布3B、7B、52B等多个版本。

开源反馈:

社区用户的使用建议和反馈显著提升了模型效果,验证了开源策略的正确性。

与昇思的合作:

在更大规模集群上训练更大参数模型,双方通力合作解决了算子适配、性能优化和精度对齐等难题。

通过小模型(3B、7B、35B)训练指导大模型(千亿、万亿参数)的研发,最终实现了模型效果和训练效率的双赢。

大模型的三大演进方向:

多模态:

类拟人交互必然涉及图文、音频、视频,甚至嗅觉、触觉等多模态信息处理。

自2020年起,基于昇思框架的多模态研究已取得一定进展,但仍有广阔的探索空间。

高质量数据:

数据质量直接影响模型的泛化能力和准确性。

高质量数据包括行业数据、任务导向数据、精细化数据、模型生成数据以及强化学习构造数据。

数据开源的重要性不亚于模型开源,例如ImageNet对行业的巨大影响。

行业应用:

大模型需快速、高效地与行业结合,解决实际问题,并通过行业反馈不断提升自身能力。

AI框架的未来发展:

用户友好性:

易用性强,少出问题,且问题能够快速解决。

能够快速适配开源模型和前沿技术。

性能优化:

训练性能: 降低研发周期和成本。

推理性能: 满足高并发场景和有限资源场景的需求。

中科院自动化所是昇思框架最早的合作单位之一。

端侧大模型的技术挑战与趋势:

研究模式的敏捷迭代:

高校和研究机构倾向于在小模型上完成技术验证,再迁移到大模型上。

这种模式迭代速度快,降低了资源投入,适配大模型的能力强。

小模型的研究成果往往能适用于大模型。

大模型自身技术的发展:

模型能力的提升不再单纯依赖参数规模的扩大,而是关注“知识密度”的提高。

通过更精妙的模型结构和优化技术,小参数模型可以达到与过去大模型相当的效果。

例如,当前几十亿参数的小模型可达到2020年GPT-3的效果。

软硬件协同优化:

在低资源设备上运行端侧模型需要软硬件的协同发展。

随着底层芯片和软件框架(如昇思)的快速迭代,端侧模型的部署效率显著提升。

未来1-2年内,智能穿戴设备和人机交互模式将迎来更多创新。

端侧模型的未来潜力:

随着技术进步,端侧模型的能力将持续增强,低成本、高效率的部署将推动更多行业应用。

“知识密度的提升”是解决端侧算力受限与精度提升矛盾的有效方法。

端侧大模型部署中,软硬件协同也是关键所在。

相关概念股:

软件与信息技术服务板块

  1. 榕基软件
  2. :作为华为优选级ISV伙伴,其政务信息化AI云平台与华为AI框架昇思完成兼容性测试。
  3. 软通动力
  4. :国内IT外包市场头部企业,与昇思适配,加速覆盖多个领域,是昇思开源社区理事会首批成员单位。
  5. 润和软件
  6. :构建了面向金融行业的软件平台,与华为昇腾联手发布多款生态产品,并基于昇思进行智能化升级。

人工智能与大数据板块

  1. 盛视科技
  2. :携手升腾AI推出多项联合解决方案,所有方案均采用华为升腾AI芯片及MindSpore框架。
  3. 多伦科技
  4. :智能驾考龙头,其产品已完成华为AI框架昇思的兼容性测试。
  5. 东方国信
  6. :与华为昇思合作两年,打造多个领域的人工智能模型,并加入MindSpore开源社区。

安防与智能交通板块

  1. 川大智胜
  2. :公司产品与华为AI框架昇思做过适配,主要合作在昇腾芯片。
  3. 浩云科技
  4. :安防业务资质齐全,其AI智能分析主机与华为昇思完成兼容性测试。
  5. 高新兴
  6. :华为重要合作伙伴,推出基于昇思的智能分析产品,在车路云一体化领域有系列产品。

金融科技板块

  1. 长亮科技
  2. :华为昇思生态伙伴,加入金融生态联盟,与华为联合开发金融数据仓库解决方案。
  3. 新晨科技
  4. :获得华为昇腾技术认证,其AI运维事件单助手与华为Atlas800及昇思完成兼容性测试。

其他板块

  1. 华孚时尚
  2. :其阿克苏城市公共算力项目包含MindSpore昇思AI框架。
  3. 人民网
  4. :旗下公司基于MindSpore构建AI平台,用于互联网内容的智能审核。
  5. 云从科技
  6. :华为昇思理事会成立人之一,与华为在AI领域有深度合作。
  7. 拓维信息
  8. :基于鲲鹏、昇腾AI打造智能计算产品,是华为鸿蒙生态重要建设者。
  9. 常山北明
  10. :为昇腾应用软件伙伴,子公司绑定华为南京昇腾AI智算中心。
  11. 同方股份
  12. :旗下公司是华为的整机伙伴,与华为昇腾产品线深度合作。
  13. 神州数码
  14. :与华为长期合作,其服务器采用华为鲲鹏和昇腾芯片。
  15. 开普云
  16. :已加入华为昇思Mindspore开源社区,提升数智安全算法模型。
  17. 汉鑫科技
  18. :为华为昇思AI框架&大模型首批联创伙伴。
  19. 高凌信息
  20. :携手昇思推出中原AI反诈骗创新解决方案。
  21. 云天励飞
  22. :基于华为多个基础平台,与华为在智慧城市建设领域落地一系列产品和解决方案。

这些公司与华为昇思的合作关系体现了昇思在AI框架、芯片、解决方案等多个方面的广泛影响力,以及其在推动产业生态发展方面的积极作用。

免责声明:本文内容仅供学习交流,不构成任何投资建议!

----------------------

来源:赛道掘金

展开阅读全文