编程人工智能运营成本最多降低90%
通过模型路由与轻量化提升处理效率
依托ixi-O和企业内部人工智能转型推进业务商业化
LG Uplus将以最多可降低人工智能智能体运营成本90%以上的“令牌优化”技术为主打，从明年起进军企业对企业人工智能市场。其构想是，不再局限于降低每个令牌的单价，而是着眼于减少利用人工智能完成业务所需的总成本。
LG Uplus首席技术官（常务）Lee Sangyeop于12日介绍“人工智能令牌优化”，并表示这可将人工智能智能体的运营成本削减90%以上。LG Uplus供图。
View original imageLG Uplus于11月12日举行记者说明会，表示计划将实际运营人工智能通话智能体“ixi-O”、人工智能联络中心以及公司内部人工智能转型等服务时积累的经验，用于令牌优化业务。年末与Kakao合作推出的“全民人工智能”服务将由LG Uplus负责人工智能模型运营，以此增强大规模服务运营能力。
LG Uplus强调，公司在运营大规模流量的过程中，积累了根据客户使用模式和业务特点运营人工智能模型的经验。例如，ixi-O在推出初期同时采用LG人工智能研究院的端侧模型和谷歌Gemini，但经过实际调优后，提高了服务质量和成本效率。其做法是区分需要高性能人工智能的任务与简单任务，分别进行处理。
在公司内部的人工智能转型中，LG Uplus也将自有人工智能模型用于开发人员使用的人工智能编程工具，在维持原有工作环境的同时降低使用成本。
LG Uplus介绍，核心技术之一是“模型路由”，即根据用户的问题自动分配合适的人工智能模型。简单问题由轻量级模型处理，复杂推理则交由高性能模型完成。尤其是在编程领域，与其他模型相比，运营成本降低了90%。LG Uplus表示，在公司内部技术验证中，处理一般问题的成本降低了25%，编程智能体的成本降低了30%以上。
LG Uplus在缩小人工智能模型本身体积的轻量化技术方面也取得了成果。公司将原本大小为2.4至3GB的端侧人工智能模型缩小至约800MB，同时实现了相当于对比云端模型95%以上的性能。通过“推测解码”技术，让小模型快速生成答案，再由大模型进行验证，使令牌生成速度提升一倍以上。这些研究成果还包括两篇论文同时入选全球顶级人工智能学术会议NeurIPS。
在基础设施方面，LG Uplus正推进根据任务特点组合芯片的策略。该架构利用英伟达和AMD的图形处理器，以及FuriosaAI的神经网络处理器分散处理任务。LG Uplus计划从明年起，通过与合作伙伴结盟的模式和自建基础设施，为企业客户解决人工智能成本方面的顾虑，拓展令牌业务。
LG Uplus首席技术官Lee Sangyeop表示：“我们将结合达到全球先进水平的模型轻量化与推理技术，以及反映人工智能业务执行轨迹的运营经验，从明年起引领市场，让企业客户以最合理的成本取得最佳人工智能成效。”
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
