这项由华为技艺有限公司、南洋理工大学、香港大学和香港华文大学王人集完成的打破性商榷发表于2026年1月，论文编号为arXiv:2601.01426v1。商榷团队通过一种名为SWE-Lego的立异训诲方法，让相对较小的8B参数模子在软件代码自动缔造任务上的进展超越了好多32B致使70B的大型模子。这就像是让一位本事神秘的专科医师在复杂手术中治服了教授更丰富的全科医师一样令东谈主骇怪。
想象一下，你的电脑方法出了bug，就像汽车引擎出现故障一样让东谈主头疼。传统上，方法员需要像汽车修理工一样，破耗大宗时候阅读代码、测试各式可能性，然后手工缔造问题。而AI代码缔培植像是领有了一个超等智能的自动诊断和缔造系统，八成自动定位问题并提供管制有联想。这种技艺的价值可想而知——它不错大大擢升软件开发效率，减少东谈主为诞妄，致使在某些情况下比教授丰富的方法员更快更准确地管制问题。
然则，训诲这么的AI系统濒临着雄壮挑战。现存的方法通常需要复杂的多阶段训诲过程，就像培养一个医师需要资格医学院、实习、入院医师等多个阶段一样。这些方法不仅辩论资本立志，还容易在训诲过程中出现各式问题。更要害的是，高质料的训诲数据极其稀缺，就像寻找教授丰富的名医来携带生手一样贫寒。
华为商榷团队提议的SWE-Lego框架就像是一套尽心联想的医学培训体系，通过三个中枢组件杀青了令东谈主精良的后果。起头是构建了一个包含32000个高质料任求实例和18000个考证轨迹的夹杂数据集，这就像是网罗了大宗确切的病例和大众的诊疗纪录。其次是鼎新了传统的监督学习方法，引入了诞妄屏蔽和基于难度的课程学习，就像是在医学素质中先让学生处理浅薄病例，恬逸擢升到复杂手术，同期幸免让学生学习诞妄的操作。终末是开发了测试时扩张技艺，通过生成多个管制有联想并使用考证器选拔最好有联想，就像是让多位医师诊断后选拔最优休养有联想。
商榷团队的中枢瞻念察在于发现了数据质料比模子限制更紧要的事实。他们的8B参数模子SWE-Lego-Qwen3-8B在SWE-bench Verified基准测试中达到了42.2%的收效率，而32B模子更是达到了52.6%的惊东谈主进展。当加上测试时扩张技艺后，这两个数字区分擢升到了49.6%和58.8%。这就像是一个受过细密训诲的专科医师时常比教授不及的全科医师在特定规模进展更出色一样。
一、数据是王谈：构建高质料的训诲材料库
传统的AI训诲就像是让学生只看教科书学医一样，清寒确切宇宙的复杂性和各样性。华为商榷团队意志到，要训诲出简直实用的代码缔造AI，需要的不单是是大宗数据，更需要高质料、各样化的训诲材料。就像培养优秀医师需要确切病例和模拟训诲相团结一样，他们承袭了夹杂数据政策，将确切宇宙的代码问题和东谈主工生成的合成问题精巧团结。
这种夹杂政策的精妙之处在于两种数据源的互补性情。确切宇宙的代码问题来自GitHub上的现实拉取申请，就像是从确切病院网罗的病例一样，具有高度的确切性和复杂性，但数目有限。商榷团队网罗了18409个这么的确切任务，它们通常波及多个文献的修改，平均需要修改3.7个文献、9.5个代码块和138行代码，就像复杂的轮廓性疾病需要全宗旨休养一样。
比拟之下，合成任务就像是在医学模拟器上熟识一样，诚然复杂度相对较低，但不错大限制生成，为AI提供更各样化的训诲契机。商榷团队生成了13710个合成任务，它们通常只波及单个文献的修改，平均修改1个文献、1.3个代码块和18.8行代码。这些合成任务通过两种精巧的技艺生成：一是让假话语模子重写代码，就像让医学生凭证症状姿首再行诊断疾病；二是通过抽象语法树变换技艺，系统性地修改代码结构，就像在模拟器中树立各式病理景况。
更紧要的是，商榷团队为每个任务都建立了好意思满的可扩充环境，就像为每个病例提供了好意思满的查验开导和实验室条款。他们从3000多个Python仓库顶尽心挑选，确保每个仓库都能收效构建和运行测试。这种严格的质料限度就像医学院只选拔素质病院进行临床实习一样，保证了训诲环境的可靠性。
数据质料限度的另一个要害要道是驻扎AI"舞弊"。在软件开发中，存在一个被称为"Git舞弊"的问题，就像考试时偷看谜底一样，AI可能意见过稽查代码仓库的历史纪录来平直得到问题的管制有联想。商榷团队为此继承了严格的驻扎措施，关于确切任务，他们移除了统共在问题创建日历之后的提交纪录；关于合成任务，他们十足淹没了Git历史纪录。这确保AI必须简直"相识"代码并管制问题，而不是浅薄地复制现成谜底。
通过这种尽心联想的夹杂数据政策，商榷团队最终构建了一个包含32119个任求实例和18110个考证轨迹的高质料数据集。实验收尾泄漏，这种夹杂方法比单纯使用确切数据或合成数据都要有用得多。跟着合成数据比例的增多，AI的性能稳步擢升，就像医学生在确切病例和模拟训诲的双重历练下缓缓成长为优秀医师一样。
二、精确素质：鼎新传统的学习方法
传统的AI训诲方法就像让学死活记硬背教科书的每一个字一样，不分要点地学习统共内容。华为商榷团队发现，这种方法在代码缔造任务中存在严重问题，因为大众演示的过程时常包含诞妄尝试和最终的正确管制有联想，若是AI同期学习这两部分，就像让医学生同期记着诞妄诊断和正确诊断一样，容易产生欺凌。
为了管制这个问题，商榷团队开发了"本事级诞妄屏蔽"技艺，就像是给学生标注出教科书中的诞妄示例，让他们专注学习正确的方法。具体来说，当AI在学习大众轨迹时，系统会自动识别那些导致扩充诞妄的操作本事，比如器具调用失败或测试欠亨过的情况，然后在辩论学习耗损机忽略这些诞妄本事。这就像针织在锻真金不怕火手术过程时，会明确指出"这一步是诞妄的，不要学习"，让学生只专注于学习正确的操作。
这种方法的后果立竿见影。在现实测试中，使用诞妄屏蔽技艺的模子比传统方法擢升了2个百分点以上。更道理道理的是，这种鼎新主要体咫尺减少"杀青诞妄"和"定位诞妄"这两类问题上，讲解AI确乎学会了幸免常见的诞妄模式。
除了诞妄屏蔽，商榷团队还引入了"基于难度的课程学习"，就像学校教育中从小学到中学再到大学的渐进式培养体系。他们发现了一个道理道理的规矩：管制问题所需的交互轮次与任务难度高度相干，相干统共达到了惊东谈主的-0.95。浅薄来说，越复杂的问题需要越多的尝试次数才选藏理，这就像复杂疾病需要更多查验和休养本事一样。
基于这个发现，商榷团队将训诲数据按交互轮次分为三个难度品级：浅薄任务（0-50轮）、中等任务（50-70轮）和贫寒任务（70-100轮）。训诲时，AI起头学习浅薄任务，掌抓基本技巧后再恬逸交游更复杂的问题。这就像医学院的培养模式，学生先学习基础表面，然其后往浅薄病例，终末才处理复杂的疑难杂症。
为了驻扎AI在学习新内容时健忘之前学过的技巧，商榷团队在每个阶段都会加入前边阶段的训诲数据进行沉稳。这种"温故而知新"的政策确保了AI八成在掌抓高难度技巧的同期保持对基础技巧的熟练度。
{jz:field.toptypename/}实验收尾标明，诞妄屏蔽和课程学习的团结使用后果最好。在SWE-bench Verified测试中，两种技艺的协同作用为8B模子带来了2.8个百分点的擢升，为32B模子带来了3.8个百分点的擢升。这就像是尽心联想的医学教育体系比传统的填鸭式素质更能培养出优秀医师一样。
三、多有联想诊断：测试时扩张技艺的机灵
即使是登峰造极的AI模子，在面对复杂问题时也可能出现"一招鲜"的局限性，就像单个医师可能会有念念维盲区一样。华为商榷团队模仿了医学界多科诊断的机灵，开发了测试时扩张技艺，让AI八成生成多个管制有联想，然后通过"大众评审"选拔最好有联想。
这种方法的中枢念念想是在AI推理时干涉更多辩论资源，就像面对疑难杂症时组织多科大众诊断一样。商榷团队发现了两个要害的扩张维度：挨次扩张和并行扩张。挨次扩张就像是给医师更多时候进行诊断，允许AI进行更多轮次的念念考和尝试；并行扩张则像是让多个医师同期沉静诊断，然后比较他们的有联想。
在挨次扩张方面，商榷团队通过大宗实验发现了一个紧要规矩：增多念念考轮次在运行时后果显赫，但在达到100-140轮后运行饱和。这就像医师在诊断初期每增多一项查验都能得到有用信息，但查验过多时新信息的价值会递减。越过这个临界点后，不息增多轮次的收益很小，反而应该将辩论资源干涉到并行扩张上。
并行扩张的要害在于若何从多个候选有联想中选拔最优解。商榷团队比较了两种考证器联想：转头式考证器和生成式考证器。转头式考证器就像是给每个有联想打分，然后选拔得分最高的；生成式考证器则像是让评审大众阅读有联想后回话"这个有联想好不好"，然后凭证回话的概率来判断。
实验收尾泄漏，生成式考证器较着优于转头式考证器，终点是在候选有联想数目增多时上风愈加较着。在16个候选有联想中选拔时，生成式考证器的进展比转头式考证器高出2.8个百分点。这种互异的原因可能在于生成式考证器更好地应用了假话语模子的内在常识和推理才略，就像教授丰富的大众在评估有联想时会轮廓琢磨多种身分，而不单是是按照固定范例打分。
在考证器训诲方面，商榷团队发现数据质料和限制都很紧要。使用18000个轨迹训诲的考证器比使用6000个轨迹的进展更好，况且跟着候选有联想数目增多，这种上风愈发较着。这就像培训教授丰富的评审大众需要大宗的案例积存一样，更多的高质料训诲数据八成让考证器具备更强的判断才略。
另一个道理道理的发现是考证器限制的影响。关于8B模子生成的候选有联想，幸运飞艇8B和30B限制的考证器进展相似；但关于32B模子的输出，30B考证器较着优于8B考证器。这讲解更强劲的模子生成的有联想时常包含更秘籍的互异，需要更大限制的考证器才调准确识别，就像复杂病例需要更资深的大众来评判一样。
通过这种多端倪的测试时扩张政策，华为商榷团队的8B模子性能从42.2%擢升到49.6%，32B模子从52.6%擢升到58.8%。这种擢升幅度讲解注解了"集体机灵"在AI推理中的紧要价值，就像多科诊断时常八成得出比单个大众更准确的诊断收尾一样。
四、实战考证：与顶尖敌手的较量
华为商榷团队的SWE-Lego系统在现实测试中展现出了令东谈主颤动的性能进展，就像一匹黑马在热烈竞争中脱颖而出。在软件工程界广受招供的SWE-bench Verified基准测试中，SWE-Lego不仅超越了同等限制的开源模子，致使在某些情况下靠近了更大限制的交易模子。
SWE-bench Verified就像是软件缔造AI的"高考"，包含了500个尽心筛选的确切软件问题，每个问题都经过严格考证，确保有明确的正确谜底和可扩充的测试环境。这个测试的难度在于它不是浅薄的代码生成任务，而是需要AI具备好意思满的软件工程才略：相识问题姿首、浏览代码库、定位bug位置、联想缔造有联想、实施修改并考证后果，就像要求医师完成从接诊到调理的好意思满诊疗过程。
在这场热烈的竞争中，SWE-Lego-Qwen3-8B取得了42.2%的收效率，而32B版块更是达到了52.6%的优异进展。这个数字的含义是，在500个测试问题中，8B模子八成十足正确管制211个问题，32B模子八成管制263个问题。琢磨到这些都是来自确切软件款式的复杂问题，这么的进展水平依然具备了实用价值。
与竞争敌手的比较更能体现SWE-Lego的上风。在8B级别的模子中，传统的SWE-Gym-7B只可达到10.6%的收效率，SWE-agent-LM-7B为15.2%，即使是进展较好的Klear-Agent-8B-SFT也只消39.0%的收效率。SWE-Lego-Qwen3-8B的42.2%收效率较着最初，就像是在合并场考试中，别的学生考60-70分时，它考到了85分以上。
在32B级别的竞争中，SWE-Lego的上风一样较着。R2E-Gym-32B的收效率为34.4%，Skywork-SWE-32B为38.0%，即使是承袭强化学习的DeepSWE-32B-Preview也只达到42.2%。SWE-Lego-Qwen3-32B的52.6%收效率不仅大幅超越了这些敌手，致使靠近了一些承袭复杂训诲过程的更大模子的性能。
终点值得提防的是，商榷团队文告的统共收尾都是在驻扎"Git舞弊"条款下得到的，而好多竞争敌手的收尾可能因为Git舞弊而被东谈主为举高。Git舞弊就像是考试时偷看谜底，诚然能提高分数，但无法反应确切才略。这使得SWE-Lego的收成含金量更高，就像在严格监考条款下取得的收成更能反应学生的确切水平。
当加入测试时扩张技艺后，SWE-Lego的进展更是令东谈主惊羡。8B模子的收效率擢升到49.6%，32B模子达到58.8%，这依然接近致使越过了一些交易级的大型模子。这种擢升就像是单个医师的诊断准确率为50%，但通过多科诊断八成将准确率擢升到60%以上，充分体现了集体机灵的价值。
与交易模子的比较也颇为道理道理。OpenAI的GPT-4o在里面评测中达到33.2%，Claude-4-Sonnet为66.6%，最新的GPT-5致使达到71.8%。诚然SWE-Lego尚未达到这些顶级交易模子的水平，但琢磨到它是十足开源的，况且模子限制要小得多，这么的进展依然十分出色，就像是让一个小诊所的医师与顶级病院的大众团队竞争，诚然还有差距，但依然展现出了饱胀的专科水平。
更紧要的是，SWE-Lego讲解注解了只是通过尽心联想的监督学习就能取得接近复杂训诲方法的后果。好多竞争敌手需要团结预训诲、监督微调、强化学习等多个阶段，就像培养一个大众需要资格漫长复杂的教育过程。而SWE-Lego仅通过鼎新的监督学习就达到了近似后果，这不仅裁减了训诲资本，也为其他商榷者提供了一条更爽气高效的技艺旅途。
五、深度理会：收效背后的技艺瞻念察
华为商榷团队在开发SWE-Lego的过程中得到了好多深远的技艺瞻念察，这些发现不仅解释了为什么SWE-Lego八成收效，也为统共这个词AI代码缔造规模提供了贵重的教授。就像医学商榷不仅要找到休养方法，还要相识疾病的本色机制一样，相识这些技艺瞻念察关于鼓励统共这个词规模的发展至关紧要。
通过对训诲过程中诞妄模式的详实分析，商榷团队发现AI在学习代码缔造技巧时效能着了了的发展轨迹，就像医学生从基础常识到临床实践的成长过程。在训诲初期，AI最常犯的诞妄是"无法重现问题"，占统共诞妄的38.97%。这就像生手医师刚运行时连病东谈主的症状都无法准确识别一样。经过第一个训诲周期后，这类诞妄十足消逝，讲解AI依然掌抓了基本的问题相识和环境操作技巧。
跟着训诲的深入，"超出最大轮次摒弃"成为主要问题，占诞妄的35.14%。这反应了AI在政策经营方面的不及，就像医师八成诊断出疾病，但不知谈若何高效地制定休养有联想。这种诞妄模式的出现偶合考证了课程学习方法的价值——通过先训诲浅薄任务，AI八成学会基本的解题政策，然后再应用到复杂问题中。
在训诲的后期阶段，"诞妄杀青"和"定位诞妄"成为主要瓶颈。这讲解AI依然具备了基本的问题管制才略，但在精服气位问题和实施正确缔造有联想方面还需要擢升。这就像教授丰富的医师八成爽气判断病情，但在具体休养细节上可能还会出错。这种转机偶合讲解了诞妄屏蔽技艺的紧要性——通过幸免学习诞妄的杀青本事，AI八成更好地掌抓正确的操作方式。
数据限制与质料的量度也提供了紧要启示。商榷团队发现，只是增多数据量并不可保证性能擢升，数据质料一样紧要。就像医学院不可只是增多素质时候，更需要优化素质内容和方法。通过夹杂确切数据和高质料合成数据，SWE-Lego在有限的辩论资源下杀青了最好的性能收益比。
在测试时扩张的实验中，商榷团队发现了挨次扩张和并行扩张之间的道理道理关系。挨次扩张在达到饱和点后收益递减，这讲解单纯增多念念考时候并不老是有用的，就像医师花太多时候在单一诊断念念路上可能会钻牛角尖。相背，并行扩张通过探索不同的管制旅途，八成在交流的辩论预算下得到更好的后果，这体现了"条条正途通罗马"的机灵。
考证器联想的比较也揭示了深层的技艺道理。生成式考证器之是以优于转头式考证器，可能是因为它更好地应用了话语模子的语义相识才略。转头式考证器只可输出一个数值分数，而生成式考证器八成通过"是"或"否"的回话体现更丰富的推理过程，就像教授丰富的大众评估不仅看收尾，更宠爱推理过程的合感性。
训诲数据的构造过程也提供了贵重教授。驻扎Git舞弊诚然裁减了部分性能有联想，但确保了AI学习到的是简直的问题管制技巧，而不是浅薄的模式匹配。这种"针织学习"的原则诚然在短期内可能影响竞争收成，但关于培养简直实用的AI系统具有永远价值，就像针织考试诚然可能影响分数，但能确保学到简直的常识。
这些技艺瞻念察不仅解释了SWE-Lego的收效，也为统共这个词AI代码缔造规模提供了紧要携带原则：宠爱数据质料、承袭渐进式训诲、团结多种扩张政策、确保学习的确切性。这些原则就像医学教育中的基本理念一样，诚然看似浅薄，但正确应用就能产生显赫后果。
说到底，SWE-Lego的收效并非依赖某项单一的技艺打破，而是通过系统性的方法鼎新和尽心的工程实践杀青的。华为商榷团队讲解注解了在AI发展确面前阶段，智能的方法联想时常比浅薄的限制扩张更有价值，这就像小巧的手术技艺时常比崇高的开导更能决定休养后果。
这项商榷最紧要的孝敬在于为开源社区提供了一条可行的技艺旅途。通过开源SWE-Lego的数据集、模子和方法，华为商榷团队为统共这个词AI代码缔造规模的发展作念出了实质性孝敬。就像医学跳跃需要大众医师分享教授和技艺一样，AI技艺的发展也需要这种灵通配合的精神。
关于等闲开发者和软件公司来说，SWE-Lego的意旨不仅在于技艺打破，更在于它展示了AI扶植编程的现实可能性。当AI八成自动缔造大部分常见代码问题时，方法员就能将更多元气心灵干涉到立异性责任中，就像自动化诊断开导目田了医师，让他们八成专注于更复杂的医疗决策。这种技艺跳跃最终将擢升统共这个词软件行业的效率和质料，让咱们的数字生存变得愈加可靠和通顺。
Q&A
Q1：SWE-Lego是什么？
A：SWE-Lego是华为商榷团队开发的AI代码自动缔造系统，八成像专科方法员一样自动诊断和缔造软件bug。它最大的特色是通过鼎新训诲方法，让相对较小的8B参数模子在代码缔造任务上超越了好多更大的32B致使70B模子，就像让本事神秘的专科医师治服了教授更丰富的全科医师。
Q2：SWE-Lego的中枢立异技艺有哪些？
A：主要有三大立异：起头是夹杂数据集，团结确切GitHub问题和高质料合成数据，提供32000个任求实例；其次是鼎新的监督学习方法，包括诞妄屏蔽技艺和课程学习，就像让AI迥殊学习正确操作而幸免诞妄示范；终末是测试时扩张技艺，通过生成多个管制有联想并用考证器选拔最好有联想，近似多科医师诊断。
Q3：等闲方法员若何受益于SWE-Lego技艺？
A：当这种AI代码缔造技艺普及后，方法员不错像使用智能助手一样得到自动化的代码问题诊断和缔造建议，大大提高开发效率并减少东谈主为诞妄。方法员八成将更多时候干涉到立异性责任中，而不是破耗大宗时候调试基础性bug，就像医师有了先进诊断开导后能专注于更复杂的医疗决策。
备案号: