21世纪经济报谈记者孔海丽、实习生吴佳芸 北京报谈

开源与闭源的门道之争仍是不存在，但市集不知谈的是，开源大幅影响了AI落地的速率与步地。

麦肯锡敷陈自大，越来越多企业在部署AI驱动的惩办决策时，启动扩大采用开源时刻。跳动50%的受访企业在AI时刻栈的数据、模子与器具层面使用开源时刻，其中科技、媒体与通讯行业的开源AI使用率最高，达到70%。

与放纵核心时刻访谒的“闭源”器具不同，开源通过公开源代码与大家合营，让企业大要笔据自己需求，快速定制惩办决策。

近日，21世纪经济报谈记者在一个AI开源时刻分析会上采访了从业者，以了解当下开源AI到底何如“接地气”。

从DeepSeek-v3.2到阿里云的Qwen 3，从Meta的Llama到谷歌的Gemma 3，“百模大战”中掀翻的开源波涛，为中小企业裁减了时刻跃迁门槛。模子不再是稀缺资源，而是企业落地AI的进口。

“大模子天然各捏己见、百花皆放，但依然处在‘春秋战国’期间，难以决胜。”德华安顾东谈主寿总司理助理、首席信息官肖萍暗示。当今，德华安顾东谈主寿已通过搭载斡旋AI平台，集结照应GPU资源，在金融招待的客服、理赔等业务部署AI。

肖萍指出：“行为行业末端的企业，咱们要赶快的接入大模子，但也要合理当用以消除风险，不成在一个模子厂商上‘绑死’。”

在AI落地历程中，企业濒临的挑战之一是何如高效愚弄异构资源。好多企业同期领有GPU、CPU等各类化算力，以及公有云、边际琢磨和独到数据中心等多种部署环境。

红帽大中华区资深市集总监赵文斌指出，不同部门或业务场景可能使用不同的大模子或定制小模子，使资源照应愈加复杂。

“开源生态可以兼容这些环境，复古企业的不同行务。” 赵文斌说。

因此，跟着AI走向坐蓐线，开源AI的叙事也在革新：从“造模子”到“跑模子”，从比拼算法到构建生态。

“开源社区最大的上风是，大家建筑者仍是打下了一个很好的基础，企业只需要在这个社区中找到认为可以的时刻，拿过来并‘企业化’。”红帽大家副总裁兼大中华区总裁曹衡康说。

曹衡康暴露，企业需要有弹性、可扩容的AI应用平台，同期要兼顾资本与信息安全。其中，AI操作系统（AI OS）是“核心核心”，认真推理任务调理，并提供设施化接口，保证多模子、多硬件环境下的高效运行。

红帽大中华区首席时刻官张家驹进一步评释说，AI OS应通过设施化接口和模块化缱绻，不仅能对应不同的硬件，还要对应不同模子。

“AI的OS要具备果然的价值，一定是设施化的，可被南向或北向的生态合作伙伴集成的，才会成为市集上单独细分的一层。”

张家驹暗示：“AI OS的核心应该是推理引擎。”推理引擎访佛于传统操作系统在CPU上的作用，通过设施化和模块化缱绻，末端GPU和其他算力的高效愚弄，同期复古多模子并走运行。

推理引擎天然从本年年头起启动被深广商议，但依然处于早期阶段。红帽结伴产业调研自大，在跳动350个企业中，仍有跳动51%的企业尚未部署任何推理引擎。

其中，vLLM是一个由加州大学伯克利分校团队建筑的高性能、开源 LLM 推理和职业引擎，核心指标是耕作 LLM 的推理速率（概括量）和GPU资源愚弄率，同期兼容 Hugging Face 等流行模子库，并复古高并发及时职业。

张家驹先容，红帽在vLLM上的干预，亦然其各别化竞争力的遑急体现。本年5月，红帽发布了开源姿首llm-d，进一步增强vLLM推理才略，为AI推理的领域化落地提供决策。

大家范围内，Meta的Llama系列也配有推理引擎、微调器具、数据集平台与API接口的生态，但推理框架主要针对自家职业，在跨模子与硬件适配才略方面有限。英伟达的TensorRT则通过GPU的硬件升级，如低精度琢磨、层交融，耕作推理速率和概括量。

比较之下，vLLM和SG Lang等开源推理引擎，由于复古多种模子和硬件，更合适企业场景。

这种多模子、多算力兼容的特色，使企业大要不依赖特定厂商，选拔最合适的时刻决策。

曹衡康强调，从AI试点到领域化落地，企业应充分愚弄开源社区的“集群效应”，联接企业级AI平台，末端狂妄云环境、狂妄模子和加快器的AI部署。

更多本色请下载21财经APPkaiyun官方网站登录入口