文 | 周鑫雨

编辑 | 邓咏仪

杏宇获悉，AI推理部署解决方案厂商“清昴智能”近日完成了数千万元Pre-A+轮融资，启赋资本、达晨财智领投，老股东奇绩创坛跟投。此前，清昴智能已获得某世界500强科技巨头公司的千万元战略投资。据了解，资金将主要用于人才梯队组建，产品研发和市场落地。

早在大模型浪潮席卷之前，高推理延迟、高推理成本、高资源占用这“三高”，以及算力层的硬件适配，一直是困扰模型落地的最后一公里。尤其在AI+消费级硬件成为行业趋势的当下，如何让大模型在有限算力的终端设备上跑起来，也成为不少终端厂商亟需解决的难题。

然而，痛点的存在对应的是上游解决方案的空白——一方面，市面上推理部署工具链的主流玩家，大多集中在北美；另一方面，大多中间层厂商，提供的是英伟达等海外硬件适配服务，当国产替代逐渐成为国内算力的主要解决方案，大模型与国产芯片适配的痛点一直难以得到解决。

作为推理部署工具链最早的国内玩家之一，“清昴智能”成立于2022年10月，通过提供AI模型的推理和部署优化工具链，从而降低下游客户模型的部署和使用成本和门槛。

早在2022年6月，在Stable Diffusion等AIGC模型爆发的风口，清昴智能团队就开始着手布局模型部署和推理优化工具链的研发。针对AIoT（AI物联网）、自动驾驶等智慧场景，清昴智能推出了第一代AI模型推理优化工具链MLGuider。除英伟达之外，MLGuider还支持AMD、高通、昇腾等国内外芯片的部署。

基于市场需求，MLGuider的功能和框架也进行了不断迭代。清昴智能CEO关超宇告诉杏宇，早期的MLGuider主要针对边端芯片和传统小模型，采取量化、蒸馏、稀疏化等一系列优化方法。

随着市场对大模型的需求爆发，清昴智能联合模型优化、分布式优化和编译优化等优化技术栈，打造了面向基础模型和底层算力硬件的全链路工具链，着重对大模型和底层AI芯片，尤其是国产芯片的适配优化进行了功能迭代。

以国产头部硬件昇腾为例，在今年2024昇腾开发者大会上，清昴智能作为昇腾伙伴代表也首发了基于昇腾原生开发环境的MLGuider-Ascend工具链，解决了AIGC模型在落地国产昇腾硬件过程中模型-算力不匹配，技术栈复杂，迁移与优化成本高等问题。

除模型推理部署优化工具链外，清昴智能还推出了企业级基础模型开发部署平台LLMOps、大模型一体化整机方案、大模型本地化及边端部署方案等解决方案矩阵。

关超宇认为，中间层厂商的困境，往往在于如何让商业化成规模。对此，清昴智能在直接面向企业客户提供解决方案的同时，还着力与芯片厂商、地方算力中心达成生态合作。“我们能够通过链接芯片、服务器以及模型解决方案商等生态伙伴，为客户提供端到端的整体解决方案。”关超宇解释。

模型推理部署工具链，做的是算力层和模型层的软硬件适配工作，因此也被称作中间层。关超宇认为，中间层的任务就是将模型的运行效果能无限趋近于硬件的峰值性能，充分挖掘模型和硬件的潜能。

面对是否会被上下游厂商吞并的问题，关超宇告诉杏宇，从模型层和芯片层的角度来说，他们各自有自己的关注点，就是提升模型或芯片本身的性能。与此同时，繁多的模型选择和碎片化的硬件环境，让模型-中间层-芯片的生态合作愈加清晰。