袁进辉的再创业：从OneFlow到硅基流动
2023年，AI领域风云变幻，OneFlow创始人袁进辉在这一年中经历了从巅峰到低谷，再到重新起航的戏剧性转变。年初，OneFlow作为估值1亿美元的公司，被光年之外并购后估值一度超过10亿美元，但随后因光年之外被美团收购，估值归零。然而，袁进辉并未因此止步，同年8月，他宣布成立新公司硅基流动（SiliconFlow），专注于AI推理框架的开发，并迅速完成5000万元人民币天使轮融资，由创新工场领投。
硅基流动的成立，标志着袁进辉从大模型训练框架向推理框架的战略转型。袁进辉认为，服务大模型应用比服务大模型生产更容易做出标准化产品，市场空间也更大。这一判断基于他对AI行业趋势的深刻洞察：大模型的应用将遍布各行各业，而推理框架的需求将远超训练框架。
大模型推理框架的市场机遇与挑战
市场机遇
大模型推理框架的市场潜力巨大。多位大模型从业者估算，大模型的训练和推理用量将达到2:8甚至1:9的比例。这意味着，随着大模型的广泛应用，推理框架的需求将呈现爆发式增长。推理框架的客户群体相对分散，包括基于模型开发应用或直接使用大模型的公司，这些公司都需要推理优化来降低成本。
技术挑战
尽管市场前景广阔，但推理框架的开发也面临诸多技术挑战。推理成本偏高是当前行业的痛点之一。传统软件一次开发、无限复制，边际成本显著降低；而用户每次调用大模型时都要消耗不少GPU计算资源做推理。因此，优化推理成本成为推理框架开发的核心任务。
袁进辉指出，推理比训练有更大的成本优化空间。用大量芯片训练大模型，硬件利用率的理论上限是60%多，而推理环节还有数倍、甚至十倍的降本空间。硅基流动的技术核心是提供一个推理引擎，确保模型运行稳定、不损失精度，并且运行速度尽可能快。
硅基流动的技术优势与竞争格局
技术优势
硅基流动的推理框架全部自研，并不基于英伟达的TensorRT-LLM或伯克利的vLLM。据硅基流动展示，使用8块A800 GPU推理700亿参数的Llama2，其语言大模型推理加速引擎SiliconLLM在吞吐、时延等指标上超过vLLM、TensorRT-LLM，部分指标最高可达竞对产品的10倍。
袁进辉称，硅基流动拥有大量长期做AI框架的一线技术与工程人才，其中不少人是去了大公司相关团队又回来：“在业务庞大的大公司，AI框架的优先级不见得很高，而对我们来说，这就是唯一。”
竞争格局
硅基流动在推理框架领域的竞争对手不乏大公司。大型云计算公司会开发类似产品与AI计算资源绑定销售，如亚马逊云的SageMaker和阿里云的PAI等；芯片公司也会研发与芯片搭配的推理框架，如英伟达的TensorRT-LLM；创业公司方面则有贾扬清创办的Lepton AI，陈天奇参与创办的OctoAI等。
尽管竞争激烈，袁进辉并不担心硅基流动的技术实力。他坚信，硅基流动的推理框架在技术性能和成本优化方面具有显著优势，能够在市场中占据一席之地。
袁进辉的创业理念与未来展望
创业理念
袁进辉的创业理念始终围绕着“技术驱动”和“市场导向”。他认为，好的技术必须能够转化为商业价值。在OneFlow时期，袁进辉已经积累了丰富的技术经验和市场洞察，硅基流动的成立，正是他再次证明“好的技术能赚钱”的机会。
袁进辉表示，硅基流动的目标是成为全世界都需要的产品。无论面对大厂时多么弱小，资源多么匮乏，硅基流动的雄心壮志一直是为全世界做最好的产品。
未来展望
展望未来，袁进辉认为，大模型的应用将越来越广泛，推理框架的需求将持续增长。硅基流动将继续专注于技术研发和市场拓展，力争在AI推理框架领域取得突破性进展。
袁进辉的再创业，不仅是对他个人技术能力的再次挑战，也是对中国AI创业生态的一次重要探索。硅基流动的成功，将为中国AI创业公司提供宝贵的经验和启示。
结语
袁进辉的再创业之路，充满了挑战与机遇。硅基流动的成立，标志着他在AI推理框架领域的全新布局。随着大模型应用的普及，推理框架的市场需求将不断增长，硅基流动有望在这一领域取得显著成就。袁进辉的创业故事，不仅是他个人技术梦想的实现，也是中国AI创业生态发展的重要篇章。
相关文章
