机器数据时代：AI服务器训练与推理应用分析

　　AI 将为商业市场带来广大效益，使大厂积极投入 AI 训练，推动硬件设备需求。 ChatGPT 用户数量和使用频率持续增长下，推动更多推理算力消耗; 同时模型更新，训练数据增加亦造成更多算力消耗，使 AI 训练无止境进行。 由于模型增长速度远高于硬件增长速度，推动AI服务器零组件发展，并随着硬件效能增加而提高成本。

　　现阶段AI服务器以训练型为主，GPU为关键主力。

　　AI服务器为关键硬件，硬件效能演进推动AI发展。 以现阶段而言，AI仍处于大量训练期，AI服务器的应用仍以训练为主，LLM趋势下，模型训练必须分散到不同GPU运算，GPU和GPGPU为关键; ASIC和FPGA可通过特定算法协助推理，提高整体运算效能。 由于大量数据处理需求，带动存储需求与DPU协助CPU和GPU资源调配。 此外，随着芯片和大量数据传输造成功耗问题，让散热需求增加。