AI4SE行业调查:大模型驱动软件工程智能化转型加速,代码生成占比显著提升

AI4SE报告:大模型推动软件工程智能化,代码生成占比提升,测试效率显著提高。智能化转型加速,未来可期。

原文标题:大模型AI软件落地已过验证阶段,代码生成占比明显提升|AI4SE 行业现状调查报告(2024年度)

原文作者:AI前线

冷月清谈:

中国信通院联合多家企业发布的《AI4SE行业现状调查报告(2024年度)》显示,大模型驱动的软件工程智能化转型已进入规模化落地阶段。报告基于1813份问卷,深入分析了软件工程各阶段的智能化转型现状、效率提升情况以及未来趋势。主要发现包括:企业软件研发智能化成熟度普遍处于L2水平;AI在软件工程领域的应用程度显著提升,尤其在需求分析和运维领域;AI赋能软件工程各阶段的效率提升更加明显,测试环节提升最为显著;代码生成采纳率和占比均有提升,但智能开发工具仍有较大提升空间;智能测试工具在降低产品功能缺陷率方面初显成效。报告还指出,大模型与现有测试工具的结合是智能测试环节的重点。

怜星夜思:

1、报告显示,虽然代码生成占比提升,但智能开发工具仍有提升空间。你认为目前AI代码生成工具最大的瓶颈是什么?是准确性、效率、还是其他方面?
2、报告提到智能测试工具在降低缺陷率方面初显成效,但缺陷率降低50%以上的企业占比仍然较低。你认为如何更好地将大模型与现有测试工具结合,以进一步提升测试效果?
3、报告显示,需求分析和运维领域AI应用提升幅度较大。你认为未来AI在软件工程中,还有哪些环节有潜力实现更大的突破?

原文内容

以大模型为代表的人工智能技术为新一轮科技革命和产业变革提供了重要驱动力,各行业在智能化转型道路上面临着前所未有的机遇和挑战。软件工程的智能化转型为软件企业降本增效带来了新思路,以提升生产力和加速创新筑牢企业核心竞争力。然而,智能化软件工程(AI for Software Engineering,AI4SE)发展过程中,仍面临技术路线选择不明确、落地路径不清晰、应用成效无对标等问题,亟需行业提供指引。

近日,中国信息通信研究院(简称“中国信通院”)人工智能研究所联合中信银行、阿里云、华为云、软通动力、腾讯、百度、字节、Testin 云测、硅心科技、360 等企业和机构,于中国人工智能产业发展联盟第十四次全体会议上正式发布《AI4SE 行业现状调查报告(2024 年度)》。

本调研以《智能化软件工程技术和应用要求》系列标准为参考,聚焦 AI4SE 发展现状及落地成效,共收集 1813 份有效问卷。报告内容以调查结果为基础,对软件工程各阶段的智能化转型现状、落地效能提升情况、未来发展趋势、挑战与机遇等维度进行了深入分析。

核心观点
1. 企业的软件研发智能化成熟度普遍处于 L2 水平

中国信通院对企业软件研发智能化成熟度进行了定义,受访企业认为内部智能化成熟度处于 L2(部分智能化)的占比最高,达到 39.15%,L3 核心智能化达到 17.62%,L4 高度智能化达到 8.98%,L2、L3、L4 合计占比为 65.75%。这表明以大模型为核心的人工智能技术在软件工程中的落地,已从概念验证阶段逐步进入规模化落地阶段,但绝大部分企业的软件研发智能化成熟度离完全智能化仍有较长距离。

图 1  企业的软件研发智能化成熟度

2.AI 在软件工程领域整体应用程度显著升高。

2024 年度受访企业在需求分析和运维领域应用了 AI 技术的占比大幅增高,提升幅度均在 10% 左右,开发、测试在 2023 年已经有诸多企业落地应用了 AI 技术,但 2024 年度也有小幅度提升。总体数据显示企业在软件工程领域应用 AI 技术的比例显著升高,软件工程的智能化转型势在必行。

图 2  软件工程各阶段 AI 技术应用比例年度数据

3.AI 赋能软件工程各阶段效率提升更加明显

2024 年度受访企业在软件工程各阶段,由 AI 驱动的效率提升更加明显,其中需求设计、开发、测试、运维四个领域效率大幅提升,测试最为明显涨幅达到 8 个百分点左右,同时需求设计、项目管理均有小幅度上升。同时在各阶段中,提效在 10% 到 40% 之间的企业数量最多,需求阶段、开发阶段和运维阶段提效 20%+ 的企业最多,设计阶段提效 10% 到 40% 的企业占比超过六成,测试阶段提效 30%+ 的企业最多。

图 3  AI 赋能软件工程各阶段提效年度平均数据对比

4. 代码生成行采纳率相比前一年有提升,但智能开发工具的能力提升空间仍然较大

受访企业应用智能开发工具后,2024 年度近五成企业的代码行采纳率 1 集中于 20% 至 39% 之间,平均采纳率为 27.46%,同比提升 2.42%,其中采纳率大于 40% 的企业比例提升更为明显。数据说明,一是智能开发工具的能力处于持续提升过程中,二是智能开发工具的采纳率有较大上升空间,三是由于行业的逐步成熟,以及智能开发效能度量标准的编制,部分指标定义更加明确,因此 2024 年度调研的数据相比 2023 年更加准确。

图 4  AI 智能开发工具代码生成行采纳率分布

5. 代码生成占比相比前一年明显提升

受访企业应用智能开发工具后,2024 年度通过 AI 生成的代码占全部代码的比例平均为 28.17%,相比 2023 年明显提升 6% 左右。2024 年度代码生成占比 4 大于 30% 的企业比例同比增长近一倍,达到 34%。其中,代码生成占比处于 30% 至 39% 区间的企业比例增长近 8%,这说明部分企业正加速探索和落地 AI 协作模式。值得注意的是,2023 年度 41.3% 的企业中代码占比处于 20%~29% 区间,而 2024 年度此区间的企业占比大幅收缩至 24.5%,从而向更高比例区间渗透。

图 5  代码生成占比区间分布

6. 智能测试工具推动功能缺陷率降低效果初显

受访企业应用基于大模型的智能测试工具后,助力产品功能缺陷率降低的效果显现,降低 20%~39% 的企业比例超 60%,根据调研发现,通过测试用例生成、测试脚本生成等技术提升测试覆盖率,从而对代码质量提升产生了积极影响,并形成了一定的规模化应用价值;但缺陷率降低 50% 以上的企业占比仅 7.13%,这反映企业使用智能测试工具大幅提升产品质量仍然存在较大瓶颈,大模型如何与现有测试工具相结合成为智能测试环节的重点。

图 6  智能测试工具助力产品功能缺陷率降低情况分布

主要专家和撰写团队
秦思思,中国信通院人工智能研究所高级工程师。中国人工智能产业发展联盟智能化软件工程(AI4SE)工作组组长。主要研究方向为智能化软件工程、大模型工程化、MLOps、MaaS 等,牵头系列标准的编制、评测、咨询等工作。
齐可心,中国信通院人工智能研究所助理工程师。主要研究方向为智能化软件工程、MLOps,参与系列标准编制、评测、咨询及多篇人工智能相关研究报告编制等工作。
闫东伟,中国信通院人工智能研究所工程师。主要研究领域涵盖人工智能政策、标准、产业及生态研究,重点关注大模型技术对软件工程的智能化进程推动和实际应用效果提升,密切跟踪 AI4SE 的最新进展动态,负责系列标准编制、评测、咨询等工作。
曹峰,中国信通院人工智能研究所平台与工程化部主任,高级工程师。中国通信标准化协会 TC1 WG1(互联网应用总体及人工智能工作组)组长,人工智能关键技术和应用评测工业和信息化部重点实验室副主任。目前主要牵头可信 AI 人工智能评测标准体系和能力建设,牵头工程化能力等相关评估规范制定与评测等。
活动推荐

AICon 2025 强势来袭,5 月上海站、6 月北京站,双城联动,全览 AI 技术前沿和行业落地。大会聚焦技术与应用深度融合,汇聚 AI Agent、多模态、场景应用、大模型架构创新、智能数据基建、AI 产品设计和出海策略等话题。即刻扫码购票,一同探索 AI 应用边界!


今日荐文

图片
你也「在看」吗?👇

我认为是泛化能力和可解释性。现在AI生成代码,遇到稍微复杂或者定制化的需求就容易出错,需要人工debug。而且代码的可读性和可维护性也需要加强,不然长期来看会提高维护成本。 #问题一

我个人觉得是安全性!AI生成的代码质量参差不齐,万一不小心引入了漏洞,那可是大麻烦!之前不就爆出过AI生成代码包含安全风险的新闻吗?所以工具能力是一方面,安全保障也很重要。#问题一

我认为项目管理领域潜力巨大。AI可以根据历史数据预测项目风险,优化资源分配,提高项目成功率。想象一下,AI帮你自动生成项目计划,评估风险,那得多省事!#问题三

我觉得要加强集成和自动化。现有的测试工具链条太长,各个环节之间的衔接不够顺畅。可以利用大模型将测试流程自动化,减少人工干预,提高测试效率和覆盖率。#问题二

别忘了人机协同!不能完全依赖AI,测试工程师的经验和判断仍然非常重要。AI可以辅助测试人员进行更高效的测试,但最终的决策权应该掌握在测试人员手中。#问题二

我认为关键在于数据驱动的持续学习。应该利用大模型分析历史缺陷数据,自动生成更有效的测试用例,并根据测试结果不断优化模型。同时,需要建立反馈循环,将测试结果反馈给开发人员,帮助他们更好地理解代码中的潜在问题。#问题二

我觉得代码审查也很有搞头。AI可以自动检测代码中的潜在问题,提高代码质量。再也不用担心code review的时候被各种吐槽了!#问题三

我觉得是缺乏上下文理解。AI可以生成单个函数,但是很难理解整个项目的架构和依赖关系,导致生成的代码难以集成。#问题一

我比较看好软件架构设计!这可是个高难度、高回报的活儿。如果AI能辅助架构师进行更好的架构设计,那可以大大提高软件的性能和可扩展性。#问题三