AI芯片竞赛进入内存为王时代买显存送核心成本45%占比
每经记者|朱成祥每经编辑|杜宇
曾经，云服务厂商买AI芯片，关注GPU（图形处理器）算力大小，而如今，可能更多的是看重显存大小，比如是40GB还是80GB。
甚至有人调侃"买显存送核心"，即买一张GPU算力卡，更看重的是显存带宽和容量，而不是GPU算力大小。
如今，内存芯片一两个月价格翻倍的大涨潮，正是对AI芯片进入"内存为王"的集中体现。
AI云基础设施厂商PPIO相关专家告诉每经记者："HBM（高带宽内存）及CoWoS（基板上晶圆、芯片）封装产生的成本已经超过纯GPU芯片，HBM成本已经'碾压'核心，'买显存送核心'已成为现实。"
某GPU芯片企业技术负责人李明（化名）对每经记者表示："结合我们硬件设计与供应链经验，CoWoS封装GPU中，当前HBM显存成本已接近甚至超过GPU核心，是整卡成本最高的单一组件。"
懂芯创始人张慧娟告诉每经记者："AI芯片的竞争已从单纯的算力竞赛，转向了内存带宽和内存容量的双重竞赛。HBM通过先进封装技术与GPU裸片集成在同一封装内，实现了计算与存储的紧耦合，极大地缓解了内存难题，越来越成为业界追捧的主要方向。"
图片来源：每经媒资库2025年下半年以来，存储芯片持续涨价成了半导体行业最热门的话题。进入2026年，存储芯片仍保持上涨趋势，且涨幅惊人。
而这背后，是AI芯片已进入"内存为王"的时代。
2023年，ChatGPT石破天惊，人类社会进入大模型时代。进入2026年，大模型已然从思考转向应用，智能体、Skill以及"养虾"成了热门话题。
人工智能的发展，也对AI芯片有了新的要求。随着大模型参数的增加，训练和推理对显存（内存的一种）的需求也与日俱增。
张慧娟表示："我们已经见证了模型参数量的指数级增长，从GPT-3的1750亿到万亿级MoE（混合专家模型），直接推动了HBM需求的爆发。这也逐步造成，制约算力的瓶颈往往不是芯片算力本身，而是数据从内存传输到计算核心的速度，因为参数必须被加载到计算单元附近的高速存储介质中，计算单元才能以极低的延迟调用它们进行运算。"
李明认为："大模型的参数量与内存需求之间存在着直接的正向关系。在2026年的技术背景下，虽然模型架构（如MoE混合专家模型）和量化技术（Quantization）在不断优化，但'参数量越大，内存需求越高'依然是AI领域的基本物理定律。除了模型权重需要的静态显存占用以外，大模型运行时需要的KVCache和激活值等都会额外占用显存。在训练任务中，还需要额外显存来保存梯度和优化器状态等信息。"
但大模型对内存的强劲"渴望"，不仅仅局限于参数的增长。
智能体的快速发展，令AI推理对AI芯片的需求大增。业界普遍认为，未来AI推理对AI芯片的需求将大幅超越AI训练。
PPIO专家表示："大模型推理场景中，GPU内存主要用于两个方面，一是保存大模型的权重，另一个是推理过程中用于存储中间状态，也就是KVCache缓存。前者由大模型参数量决定，后者取决于会话的上下文长度。大模型发展至今，参数量已经趋于稳定，不会大幅增加。而会话的上下文长度还在持续增加，特别是Agent（智能体）场景下，1百万Token的上下文长度已成为主流。这样进一步增加对内存的开销，长上下文成为内存需求的主要因素。"
参数、长上下文，这两大因素的作用下，内存的重要性已然超越GPU计算核心。
不仅仅客户需求侧更加看重内存。在成本结构中，内存的成本也大幅高于纯粹的GPU核心。
PPIO专家称："一张GPU的成本构成主要分成三部分，一是HBM内存，容量越大成本越高；二是GPU核心（逻辑计算芯片）；三是先进封装工艺（CoWoS）。高端GPU，由于HBM内存容量更大，其HBM的成本更高，以B200（英伟达GPU）为例，其总生产成本的构成中，HBM内存占比约45%，CoWoS封装及良率损失占比约34%，GPU核心芯片占比只有14%左右。"
即英伟达B200的成本结构中，45%源自向SK海力士、三星、美光等厂商购买HBM，14%源自台积电代工的GPU裸芯，34%源自台积电代工的CoWoS封装及良率损失。
而HBM由多层DRAM（动态随机存取存储器）堆叠而成。HBM需求大增，意味着SK海力士这类厂商将越来越多的DRAM产能用于制造HBM，相应用于消费级的DRAM产能便少了。
PPIO专家表示："三大存储巨头（三星、SK海力士、美光）已经将70%的产能转移到HBM上，用于消费电子的GDDR产能反而会下降。因此我们首先看到消费领域的GeForceGPU的价格普遍上涨，大内存GPU减产甚至停产，这是由于GDDR内存减产以优先保障HBM内存导致的。"
那么，若未来存储行业产能提升，消费电子领域存储价格是否也将率先受到冲击？
张慧娟认为："消费电子往往是最先感知到波动的领域。特别是对于存储来说，比如手机、PC（个人电脑）用的LPDDR（低功耗内存）、SSD（固态硬盘）等接近于标准品，价格弹性大。一旦上游晶圆产能提升，最先反映在现货价上的是这些产品。"
