标签:推理加速
探索TSP架构:AI芯片的未来革命
本文深入探讨了Groq公司推出的基于Tensor Streaming Architecture (TSA) 架构的Tensor Streaming Processor (TSP),这款AI芯片专为云端大模型推理设计,通过...
DeepSeek开源项目:推动AI普惠化的技术革命
本文探讨了DeepSeek及其开源项目如何通过技术创新推动AI普惠化。文章详细介绍了DeepSeek-R1模型的技术突破,以及KTransformers和FlashMLA等开源项目在降低AI...
大语言模型的预训练与推理加速:从框架到决策式AI的实践
本文深入探讨了大语言模型(LLM)的预训练和推理加速框架,介绍了如Deepspeed、Megatron等开源工具的应用。同时,分析了决策式AI与生成式AI的区别及其在垂直...