本纪要涵盖了AI和GPU服务器市场的增长与动态,重点关注了AI工作负载对服务器配置的影响,以及OEM(原始设备制造商)和ODM(原始设计制造商)之间的竞争。此外,还探讨了数据中心在电力和冷却方面的挑战、GPU即服务(GPU as a Service)的兴起,以及主要科技公司之间为简化AI基础设施部署而建立的战略合作伙伴关系。同时,对话还涉及影响AI服务器制造的经济因素,以及提高GPU资源利用率以实现更好投资回报的重要性。 专家主要观点:
AI基础设施增长
- GPU服务器市场增长
- 大规模采用AI和AI工作负载显著推动了GPU服务器市场的增长,特别是在超大规模企业和投资于支持大型语言模型(LLMs)基础设施的企业中。
- 行业正处于“加速时代”的早期阶段,专注于构建支持AI的基础设施,NVIDIA是这一领域的主导者。
- AI对服务器配置的影响
- AI工作负载改变了服务器配置,优化的重点转向特定用例,例如金融服务业和制造业中的机器学习应用。
- GPU即服务(GPU as a Service)
- 由于需求高、供应有限,GPU即服务模式应运而生,使企业能够在不进行大规模基础设施投资的情况下测试机器学习应用。
服务器制造
- OEM vs ODM
- OEM和ODM之间的动态受到快速基础设施部署需求的影响。ODM因能够快速且经济高效地交付产品,对超大规模企业具有吸引力。
- 超大规模项目选择服务器制造商
- 像Stargate这样的超大规模项目在选择服务器制造商时会考虑现有技术、可扩展性和成本效益,通常利用现有基础设施,并比较Supermicro、Dell和HPE等选项
- 数据中心使用多个服务器制造商
- 数据中心通常使用多个服务器制造商,以避免对单一供应商的依赖,并利用不同厂商的优势,如XAI项目所示。
AI基础设施挑战
- AI服务器制造的挑战
- 制造商面临AI服务器密度增加的挑战,需要更多电力和先进的冷却解决方案(如液冷)来管理散热问题。
- Supermicro的竞争优势与挑战
- Supermicro在快速交付方面的竞争优势正受到竞争对手的追赶,同时该公司也面临过去争议和客户集中风险带来的挑战。
- AI服务器制造的经济因素
- 供应链管理、组件成本和预测等经济因素在AI服务器制造中至关重要,对Dell和Supermicro等公司产生了影响。
AI基础设施的未来
- 长期增长与创新
- AI基础设施市场预计在未来十年内将持续增长和创新,趋势包括GPU即服务演变为AI即服务(AI as a Service),并更加注重提高资源利用率。
重点总结
- 市场驱动:AI和AI工作负载的广泛应用推动了GPU服务器市场的快速增长,特别是超大规模企业和LLM相关基础设施的投资。
- 行业趋势:行业处于“加速时代”,NVIDIA占据主导地位,GPU即服务模式正在兴起。
- 竞争格局:OEM与ODM在服务器制造领域展开竞争,超大规模项目倾向于选择具备技术优势和成本效益的制造商。
- 挑战与机遇:AI服务器制造面临电力和冷却等技术挑战,同时供应链管理和经济因素也对行业发展产生重要影响。
- 未来展望:AI基础设施市场将迎来长期增长,GPU即服务可能演变为AI即服务,资源利用率将成为关键关注点。
订阅 GLG 洞见趋势月度专栏
输入您的电子邮件,接收我们的月度通讯,获取来自全球约 100 万名 GLG 专家团成员的专业洞见。