昇腾一体机专家小范围交流

2025-04-23 杏彩开户

     

  :25年全年昇腾920系列卡出货量预计在75万 - 80万之间,其中920b预计突破35万,920c预计突破45万。

  ·不同客户类型的采购量:政企客户以私有化环境部署为主的集群或销量约5万套;部分政企客户以2 - 4台做一体机,每台8张卡的小集群方式采购;地方或创业中心为代表的面向地方政府、科研院所、高校等用户的本地化集群,全年预计近10万张卡;运营商全年采购目标约25万颗;互联网板块预计有40万 - 45万颗920卡。

  ·一体机出货量及相关情况:一体机出货量折算成卡预计在5万 - 10万张区间,主要客户为政企客户,包括规模较小的政企单位和以地方政府为主导的单位,不同规模政企客户采购方式有所差异。

  ·带来增量的业务板块:本地化推理一体机(以2 - 4台标准服务器为小规模)和地方超算或地方算中心这两块业务增量较大。

  ·一体机出货量及市场进展:截至周末,一体机出货量预计约1500台,能卖到接近1万多张卡,到月底预计达到1500台的需求量,市场进展较快。

  ·客户反馈的问题:一是客户希望模型能结合本地数据库、场景文本和信息资料做微调以贴合业务;二是很多客户机房缺乏本地it资源或服务,运维能力依赖下游伙伴,目前下游伙伴在人力资源和出货响应速度上存在瓶颈。

  ·与合作伙伴的分工模式:在适配、能力补齐方面以自身为主,一体机的对外销售和出货以伙伴为主,自身将资源主要放在卡相关能力建设、面向客户的运维和微调服务上,市场资源虽有但最终由合作伙伴承接。

  ·一体机的毛利和净利:一体机毛利在45 - 50%之间,考虑人力成本等因素,净利率约35%左右;服务器方面,如果只考虑报幕成本及相关联的费用,给生态合作伙伴的利润空间约10个点左右,但如果合作伙伴批量小可能达不到。

  ·价格趋势:短期内一体机提价可能性较小,虽然一体机需求大,但920系列卡尤其是920b在降价,且有国产卡适配竞争;不过随着需求量开始上涨,下游伙伴供货周期拉长,下游面向计算机显示终端的价格可能上涨;此外,一体机还有租赁模式,一台满配8卡的服务器单月租金约1万,客户若从租赁转为采购,租金可抵扣采购费用。

  ·一体机和服务器的配置区别:一体机在电源、光模块等配置上更轻量化,卡的灵活性更高,如在推理集群中光模块标配和服务器版本不同,网络带宽能力有差异;冷却方式上,一体机标准方案以液冷为主,在一些配置上相对弱化;卡方面,一体机主要是910b的推进集群,服务器可能有920c的集群,920c集群单卡能力强,适用于高并发场景。

  ·市场格局影响:服务器厂商数量有所减少,做一体机的厂商有二三十家,但一体机更多是卡上应用且各有差异,下游推力集群市场碎片化,30多家推力集群厂商覆盖碎片化场景,服务器厂商重点面向运营商、互联网厂商和地方超算,对卡的消耗相同,当前面临的挑战是在螺线端要有更好的稳定性和良率。

  ·一体机芯片消耗量占比:若全年芯片出货量在70 - 80万区间,一体机出货量在5 - 10万区间,一体机芯片消耗量占比约10%左右。

  ·与其他卡的性能对比:910b的9208张卡的服务器能带动满血版671b,但由于卡不支持f18只支持f16,在计算上存在工具链转换问题,早期部分厂商未拿到工具包导致算力不通,现在有供应链后,效率理论和实际测量基本能达到h20的70%左右;在集群规模上,接入华为云布1440卡的集群,训练成本比h20高20%左右,主要是单卡优势下仍存在规模算力衰减和底层算子调度加速能力瓶颈,以及算率转换带来的算力损失。

  ·价格对比:单看920和h20,原来910在互联网厂商价格约10万出头,运营商处约11万出头,h20价格约7万75000左右,24年910价格比h20高,现在910价格降至8万5左右,h20因缺货、断供流片问题价格升至8万出头,910仍比h20略贵;从性能角度看,在集群下只看推理,910成本比h20贵15 - 20%。

  ·c的量产及应用:920c预计5月份大规模面向市场,近期处于小规模流片阶段,万卡以上获取较难;920c一定会被使用,因为随着公有云日活增加、模型调用限制放开,对算力要求大幅度提高,920b单卡性能相对弱,为保证集群算力和高并发要求,920c将被用于自身云、运营商云、运营商超算等,目前互联网厂商尤其是字节、阿里、腾讯对920c需求量和采购规模较大,今年上半年主要推920b,下半年将产能给到920c,虽产能存在缺口,但今年全部交付问题不大。

  ·不同类型企业对调优的需求:小规模集群(2000 - 5000卡)的第三方创业租赁公司对调优有诉求,因为他们对单次推理成本有压缩需求;而网络公司和运营商对调优不太看重,运营商以云方式提供标准算力租赁服务,网络公司重心在训练且自身能力较强、集群规模大,对推理要求不高。

  ·推理和训练需求的占比:目前不管是920b还是920c,95%的需求为推理需求,训练需求不强烈,因为互联网厂商和中小模型厂商依赖扩大生态和英伟达卡能力,920c卡能带动的模型参数量级有限,在显存和卡算力方面存在瓶颈影响训练能力,目前也在积极让互联网厂商用卡做训练,但他们会考虑训练成本。

  ·年的出货量展望:26年对外出货量预计在110 - 120万,相比25年虽有增长但增速放缓。

  ·产品规划:26年将明确训练场景和策略场景,确定不同模型类型;在卡系列上更细化,如920、920b卡更多用于大语言模型推理且能支持多模态模型处理,还将推出920d卡用于训练,其做了4个代的和风,单卡算力更高,且有类似nsh的配置,互联能力提升更适合训练场景。

  ·一体机相关情况:目前自己的盘古模型做出来的一体机出货量级小,主要面向金融矿山等做综合性小参数量级模型,模型成熟度不高,正在进行多方面融合和迭代优化。

  A1: 25年全年在出货量上大概是在75万到80万这个区间。其中在920b上预计突破大概在35万,920c突破45万。 从分行业情况去看: - 政企客户以私有化环境部署为主的集群,销量大概会在5万套左右;部分政企客户购买2 - 4台做一体机(每台配置8张卡,最大32卡的小集群方式);还有面向地方政府、科研院所、高校等用户的以超算中心为代表的本地化集群本地化部署需求,预计全年大概有将近10万张卡。 - 运营商市场预计今年全年的采购目标在25万颗左右。 - 互联网板块大概是会有40万到45万颗920的节奏。 除一体机之外的出货情况,带来增量比较大的是本地化的推理一体机(以2台标准服务器到4台标准服务器为小规模)以及地方的超算或者地方算中心(量上大概有10万颗)。

  A2: 一体机用量折算成卡的线万张区间。 一体机本质上也是一种服务器形式,这里面包含本地集群、微调服务以及运维支持等内容。

  A3: 5 - 10万的客户主要为政企客户。政企客户又可细分为几类:一是规模相对小的政企客户,例如200人左右以政府为主导的企业和事业单位,像一些医院等;二是以地方政府为主导的,例如某个区的政府,在政务外网方面可能规模大一点,这样的一种情况可能不是一体机方式,而是标准化服务器(最少32张卡或者100多张卡)的方式。

  A4: h与伙伴之间关系比较明确。在适配上,包括卡的适配、部署后的微调以及能力补齐等方面以h为主;而一体机的对外销售和出货则以伙伴为主。 因为h的资源有限,所以将绝大多数资源放在与卡相关的能力建设以及面向客户的运维服务、微调服务上。市场方面h虽有一些资源,但最终资源的落地由下属伙伴承接,h与伙伴之间并不冲突,h更多面向底层能力和平台搭建。

  A5: 对于一体机,毛利在45 - 50%之间。910、910b卡价格在降低,目前8张卡成本大概70万左右,加上国外服务器配套,成本在100万以内,对外价格一般在145万 - 150万之间(包含一定人力等成本),综合毛利在40 - 45%左右。 净利率方面,由于服务器硬件成本锁定后,人力成本大概占5%,还有长周期运维成本,测算下来净利大概35%左右,人力成本是主要成本,另外的成本比较小。 对于纯服务器,如果只考虑报幕成本及相关联的费用,给到生态合作伙伴大概10个点左右的利润空间,但如果伙伴批量小,可能还不到10个点。

  A6: 短期应该不会提价。一方面920系列的920b卡正在慢慢降价,虽然相比其他国产卡价格降得慢一些,但目标价会从原来的10万出头降到7万多,目前价格大概在8万5左右,降价空间小,价格仍比其他国产卡贵一些。 另一方面,虽然一体机需求很大,但h面对合作伙伴的价格波动比较小。不过随着需求拉长,供货周期可能从25 - 30天延长到40天左右,下游伙伴面向计算机显示终端的价格可能会上涨。此外,还有租赁的情况,租赁价格持续上涨比较多。

  A7: 除了一体机售卖方式外还可以租赁。 在本地化一体机场景下,是按月收取租金,一台满配8卡的服务器单月租金在1万块钱左右,相当于一张卡一个月接近1万,一年基本能回收价格,但这种客户一般最多租一个月就可能转成采购,转成采购后租金可抵扣采购费用。

  A8: 有些客户不介意租过的服务器,会让折算一下折旧折扣后进行采购;但有些客户明确要求新的服务器,所以租过的服务器能否二次给客户采购使用取决于客户的要求。

  A9: 增速最快的垂直赛道是网络,去年互联网厂商更多以验证为主,全年出货在10万张以内,今年的突破目标在40万左右。 其次是一体机,23年推出时只有科大讯飞体系下司法场景卖得较好,24年中需求衰减,全年出货2000卡左右,今年由于AI加教育、医疗、司法以及小型政企单位等需求,从之前的2000 - 3000卡规模增长到可能有5万张卡,从增速上看一体机增速可能最快,但从量上看互联网的量最大。

  A10: 有下游客户反馈。从市场进展来看,到本周末一体机出货量大概在1500台左右,能卖到接近1万多张卡,这个月结束时预计有1500台的需求量,市场进展比较快。 客户反馈主要有两点:一是目前部署的模型以R - 1的标准模型为主,很多客户不满足,希望能结合本地数据库、场景文本和信息资料做微调,让模型更贴合业务;二是模型部署后响应速度快,但很多客户机房没有本地it资源或服务,运维能力依赖下游伙伴,目前下游伙伴在人力资源和出货响应速度方面存在瓶颈。 在性能和使用体验上,一体机比在线模型要好很多。

  A11: 之前提到到月底预计有1000 - 1500台的需求量,这一数据是已经确定的。不过,下游客户虽然给了这样的反馈,但估计真正落到计算机显示终端那边可能不会那么快,因为目前他们还处于抢卡的过程中。

  A12: 鲲鹏重点在信创市场,从18 - 19年初到现在,很多客户相对饱和,所以在这个板块增量不会特别大。预估今年全年销售大概在130万颗,包含两种场景:一是标准的西方通向服务器(两颗920);另一种是随着大模型的f服务器带出去的,例如在推理服务器或配置一体机里配置920。如果客户真正的需求用叉8架构换成立法的,会单独做计划,若客户无要求,则采用4 + 8的搭配方式(4个920 + 8个910)。

  A13: 一体机与服务器存在多方面区别。在配置上,一体机更轻量化,例如电源和光模块等配置。在光模块方面,推理集群里服务器标配400g光模块(做大集群可到800g,网络带宽能力更强),而一体机在200g基础上就能使用户得到满足并发和网络消耗等问题。在冷却方式上,今年标准方案以液冷为主,一体机没有液冷刚性需求,在这方面配置有所弱化。在卡的类型上,一体机基本是910b的推进集群,服务器可能会有920c的集群,920c集群单卡能力强,综合算水平高,更适合高并发场景。

  A14: 在服务器方面,标准服务性仍以华坤超、聚电神马、烽火等为主。一体机和服务器相比,更多是卡与卡上的应用且卡是标准化的。各厂家在卡上的应用不同,像云飞天、云从等都有一体机,他们从AI小模型迭代而来,有微调能力和运营能力,能提供差异化方案。下游的推力集群市场碎片化,小客户可能用两台服务器,大客户用四台服务器,价格较重。目前让30多家推子集群厂商覆盖碎片化场景,服务器厂商重点是运营商、互联网厂商和地方超算,虽然覆盖面不同但卡的消耗相同。对我们而言挑战在于在螺线端要有更好的稳定性和良率,这样两类上市后能降低报幕成本。所以这种格局不会越来越差。

  A15: 今年出货量大概在70 - 80万的区间,预估一体机出货量在5 - 10万这个区间,所以如果910b一体机出货量为40万颗,估计其在芯片消耗量中的占比大概是10%左右。

  A17: 标准的一台910b的920 8张卡的服务器能带动满血版671b,但存在一些问题。由于卡本身不支持f18只支持f16,最初一些厂商没拿到将f8转f16的工具包,自行找方案适配效果不好。现在有了供应链后,理论和实际测量效率基本能达到h20的70%左右。在集群规模上,接入系统官方流量集群到华为云计算,布1440卡的集群,训练成本相比h20要高20%左右,是因为单卡虽有优势但存在算力衰减,且自身没有扩大生态,在底层算子调度加速等方面存在瓶颈,并且算率从支持f到支持6再转f16会有算力损失。下游厂商布麻雀版本671b模型时,一台服务器略紧张,推荐两台服务器,因为卡存在稳定性问题。所以综合看来,效率能达到h20的70%,训练成本比h20高15% - 20%。

  A18: 国产卡目前大部分是16位和32位居多,8位之前没有国内模型在用,所以没有做适配。现在看到有这样的需求后,也在积极适配,之前没有适配主要是需求和市场端技术路线b算力的价格对比关系是怎样的?

  A19: 单看910b和h20,原来910b在互联网厂商价格大概10万出头,在运营商那边贵1万左右即11万出头,h20价格大概7万75000左右,24年时910b价格比h20高。现在910b价格要往下降但还未降到预设目标,可能还会降15000左右,h20因缺货、断供流片等问题价格往上走,现在h20基本在8万出头,910b价格在85000左右,仍比h20略贵。从性能角度看,在集群下只看推理不看训练,910b推理成本比h20贵15% - 20%。

  Q20: 910c的量产节奏是怎样的,后面是否会用到910c,为何会用到910c?910c大概何时推出,是否上半年推出?今年能否全部交付,如果5月推出,下半年三四十万张能否如期交付?

  量产节奏:910c一直非常关注但近期又往后延了,目前小规模流片中,想直接拿到万卡以上比较费劲。 -是否会用到及原因:一定会用到。一方面,以D的公有云状态看,日活目前在4000万量级且还在增长,预估五六月份会稳定在5500万 - 6000万区间;另一方面,现在调用时会反馈繁忙问题,目前模型调用有限制策略,若完全放开限制,5000万日活加上每人每天1万的投粉数量,对算力要求会比现在大5 - 10倍,而910b单卡性能相对弱,为保证集群算力和高并发要求,在自己的云、运营商的云以及运营商做的在线c。 -推出时间:上半年推出,大概5月份能够大规模推出。 -交付情况:今年接触到的下游互联网厂商(主要是字节、阿里、腾讯三家)下了订单,量大概是三四十万张。上半年主要推910b,因为910c比较紧张且卡上还有问题,下半年会把产能全部给到910c。虽然产能存在一定缺口,但从目前看今年全部交付问题不是特别大,不过还是要看产能爬升情况,尤其是两位(此处可能是特定指代,根据前文推测可能与代的消耗等相关)的情况。Q21: 市场上是否有针对网络算力存储等进行调优的勇于探索商业模式的公司出现,这种调优能力是不是重要,是否有机会,为什么?

  A21: 在市场上,是有针对网络算力存储等进行调优的勇于探索商业模式的公司出现的。这种调优能力在某些场景下是较为重要的。在一些小规模的集群场景(如2000卡到5000卡集群)中,由于调用和资源消耗达到一定量级,对于单次推理成本有着极高的压缩需求,很多第三方的创业租赁公司会关注这一点,他们会进行调用优化以及底层推理性能的优化。然而,对于大型的网络公司和运营商来说,这种调优能力就不是非常重要。运营商以云的方式提供算力,不会对标准卡之外的能力做过多延展,只是将购买的卡的标准算力提供给B端或C端市场作为租赁服务。网络公司本身能力较强且集群规模较大,在推理方面需求不大,重心更多在训练方面。所以,对于商业租赁的第三方服务企业来说,这种调优能力存在机会,但对于大型网络公司和运营商则机会不大。

  Q22: 在下游采购过程中,推理端和训练端需求的大致占比情况如何,为啥说920b和920c基本上95%的需求是推理需求,训练需求不强烈?

  A22: 在下游采购过程中,目前不管是920b还是920c,大致95%的需求是推理需求,训练需求相对不强烈。这是因为无论是互联网厂商还是中小模型厂商,都依赖于扩大的生态以及英伟达卡的能力。以920c卡为例,它在模型参数量级方面,最大能支持小几百亿(如三四百亿)的训练场景,但对于三四百亿以上的参数集群,由于显存瓶颈和卡的算力限制,处理起来比较吃力。大部分厂商还是更倾向于推理端的需求。虽然也在积极促使互联网厂商用卡做训练,但他们会考虑训练成本,如人力投入和卡的消耗等分配问题。所以目前来看,920b和920c的训练需求相对较小。

  A23: H内部对升腾是有明年的展望的。在2026年,会重点进行场景上的拆分,明确训练场景和推理场景,以及确定是大模型还是动态模型等。从出货量来看,对外出货量预计在110万 - 120万,相比今年虽有增长,但增速会有所放缓。在产品方面,会从卡的系列上做更细致的划分,例如920、920b的卡更多用于大语言模型的推理,并且希望这些卡能在大语言模型推理基础上支持多模态模型处理,因为预计未来模型会朝着多模态方向发展且算力更高。在训练卡方面,会推出920d的卡,该卡做了4个代的和风,单卡算力更高,并且有类似于nsh的配置,互联能力会有较大提升,更适合做训练场景。

  Q24: 用盘古模型做出来的一体机和DC的一体机是否都包含在之前提到的5 - 10万张区间内,还是单纯低配?

  A24: 用盘古模型做出来的一体机出货量级非常小,它主要面向金融矿山等做综合性模型,这些模型参数量级不大且成熟度不高。目前盘古模型一方面接入了手机端、车上等的大云大模型,另一方面也在和矿山模型进行技术融合,未来还是会以GPS为主并且自身在不断迭代优化。所以,用盘古模型做出来的一体机并不包含在之前提到的5 - 10万张区间内,也不是单纯的低配概念,而是处于自身发展和优化的过程中。

  随着中美贸易冲突的升级,两国之间大宗商品的贸易流向正逐渐发生明显的变化:以大豆为例,分析人士指出,巴西有望进一步巩固中国最大大豆进口来源国的地位。美国大豆种植户警告,美国大豆可能将永远失去中国市场。

  “代购中国货”火了,美国网友纷纷求购中国商品,“离境退税”让民众开始算账

  据中国蓝新闻报道,随着美国对中国产品征收的额外关税达到145%,许多美国网友开始讨论“打飞的去中国代购商品”的可能性,相关话题冲上微博热搜。

  玩具业是美国遭受关税冲击最严重的行业之一。美国有线电视新闻网(CNN)指出,对中国生产的玩具加征高额关税,意味着曾经物美价廉的玩具将变成“奢侈品”。美国商务部多个方面数据显示,2024年美国进口了价值177亿美元的玩具,其中75%来自中国。

  △美国加州州长纽森(资料图)美国人口和经济规模第一大州加利福尼亚州州长纽森当地时间16日宣布就关税问题起诉特朗普政府。他批评特朗普政府滥用关税政策的行为“违法”,给美国经济导致非常严重混乱和破坏。加州成为全美第一个就关税问题起诉特朗普政府的州。

  京东:有平台强迫外卖员“二选一”,接京东平台秒送订单将被封杀,奉劝某平台好自为之,京东将给予被封杀骑手足够单量,对超时20分钟以上的外卖全免单,优先为骑手的对象安排工作。(剪辑:鲲鹏)

  山西“订婚案”维持原判,被告获刑3年,审判长答问:处女膜未破裂影不影响罪的认定?#媒体精选计划

  京东:今日起所有超时20分钟外卖全部免单,优先为骑手的对象安排工作,对兼职骑手永不强迫“二选一”

  海口综合保税区工委原副书记、管委会原主任侯同波涉嫌严重违纪违法,主动投案,目前正接受海口市纪委纪律审查和海南省监委监察调查。

  三天内,连续两架波音飞机遭到中方“退货”。航班动态实时追踪网站AirNav Radar显示,这架737 MAX飞机从波音位于中国浙江舟山的工厂起飞,预计经停美国关岛加油,飞往波音位于美国西雅图的生产基地。

  在阅读此文之前,麻烦您点击一下“关注”,既方便您进行讨论和分享,又能给您带来不一样的参与感,感谢您的支持文、编辑小娄2022年12月29日这天,消失在大众视野许久的央视主持人朱军在社交平台上更新了一则内容。

  美国特朗普政府以所谓“让制造业回流美国”为名大打关税战,引发美国内外普遍批评。几次三番对关税政策的“朝令夕改”更是让美国农业界、商界、工业界、政界甚至包括电影行业在内的文艺界感到混乱和恐慌。

  用心经营自己的写作人生专注上市公司产业链研究,如果我们什么都改变不了,那就不要改变纯真的灵魂!