邮件订阅
高通发布其新一代数据中心AI推理优化解决方案:基于高通AI200和AI250芯片的加速卡和机架。高通AI200是专为机架级AI推理设计的解决方案,旨在提供低拥有总成本(TCO)和优化的性能,用于大型语言和多模态模型(LLM、LMM)推理和其他AI工作负载,每张卡支持768GB的LPDDR内存。高通AI250解决方案将采用基于近内存计算(near-memory computing)的创新内存架构,通过提供超过10倍的内存带宽提升和降低功耗,为AI推理工作负载带来更高的效率与性能。这被认为将与英伟达竞争。


