不调接口，直接点鼠标：一个智能体在 BIM 软件里把户型图建成模型，成功率 77.8%

建筑行业的 AI 叙事，过去两年基本停在“读”：读图纸、读规范、读计算书、读点云。读得再好，交付物还是一段文字或一张表格，最后仍要有人坐到建模软件前面，一刀一刀把模型拉出来。慕尼黑工业大学的一篇新论文把这一步也接了过去——不是生成一个 IFC 文件丢给你，而是接管鼠标和键盘，在真实软件的界面上把楼建完。

这项研究叫 BIMgent，作者是 Zihan Deng、Changyu Du、Stavros Nousias 和 André Borrmann，隶属慕尼黑工业大学“土木与建筑工程计算”教席与 TUM Georg Nemetschek 研究所。论文 2025 年 6 月先以工作坊版本出现在 ICML 的计算机使用智能体研讨会上，本月正式刊入《Automation in Construction》第 193 卷（文章号 107302，DOI 注册于 2026 年 10 月 22 日，纸本排在 2027 年 1 月号）。

值得单独拎出来说的是两个版本的差距。工作坊版报告的端到端成功率是 32%，当时的基线是 GPT-4o 与 Claude 3.7，两者一个任务都没做成。期刊版把成绩提到 77.8%，同时换上了更新的通用模型作对照，Claude-Sonnet-4.5 是 2.2%，GPT-5.4 是 11.1%。同一套框架、同一类任务，一年多时间里从“三成”走到“接近八成”，而通用模型在新基准上依然接近归零。

一、它到底是怎么“点”出来的

BIMgent 的输入很朴素：一张户型平面图，加上层数。输出是建模软件里一个带墙体、门窗、楼板、屋顶的完整模型——论文里用的软件是 Vectorworks。中间这一段被拆成三层。

第一层是设计理解。平面图先被 DeepFloorplan 这类分割模型切成墙体与洞口的候选，再交给一个“设计解读器”（论文用的是 Gemini 系模型）修几何、判断哪个洞口是门、哪个是窗，产出一份结构化元数据。这一步和国内常见的图纸识别没有本质区别。

第二层是规划，也是这篇论文真正的贡献。一个规划器先把任务拆成高层步骤：建图层、拉墙、插门、插窗、铺楼板、加屋顶；再为每一步生成低层动作序列。关键在于，这些步骤不是模型凭常识猜的，而是从软件的操作文档里检索出来的——论文里的做法是把 Vectorworks 的 builder 文档切成 Markdown 存进检索库，规划时按步骤取用。说白了，它先读了一遍软件说明书，再动手。

第三层是执行，分两条路。需要看屏幕判断的动作走“视觉驱动”：截图、用 OmniParser 做界面元素定位、生成鼠标键盘动作、执行，然后由一个监督模型回看结果，不对就重试。坐标和按键能预先算出来的动作走“纯动作”：比如沿已知端点拉墙，直接把坐标序列发出去，省掉推理延迟。

消融实验给出了这套设计的分量：去掉动态界面定位，端到端成功率从 32% 掉到 13.33%；去掉监督复核，掉到 11.53%；去掉分层规划，直接一个都做不完。三个模块掉任何一个，系统就不成立。

alt="BIMgent 的三层架构：设计理解、动作规划、执行">

二、绕过 API，为什么值得当成一件事

过去几年，BIM 领域的自动化几乎只有一条路：调接口。Revit 有 API，ArchiCAD 有 API，国产软件也都有插件体系。这条路的天花板不在模型能力，而在接口本身——覆盖不全、版本会漂、二次开发要厂商配合，每换一个软件就得重写一遍。

GUI 路线把这些问题绕开了。智能体看到的是像素，不是 SDK，理论上换一个软件只需要换文档和几个界面元素模板。对国内读者来说这一点尤其现实：设计院和施工单位的工具链里，Revit、ArchiCAD、Vectorworks、广联达、品茗、天正同时存在，一个项目跨两三个平台是常态。为每个平台单独做一套接口适配，成本高到多数企业不会碰；而“让人教机器怎么点”，边际成本低得多。

这也解释了为什么厂商自己在往同一个方向走。Nemetschek 本月发布的 MAX 系列把三个学科压到一套 AI 底座上，并开放了 MCP 服务器；Autodesk、Bentley 也在把助手塞进产品界面。厂商的做法是“我给你标准接口”，BIMgent 的做法是“我不需要你的接口”。两条路会长期并存，后者对中小软件和数据孤岛更友好。

三、77.8% 的另一面

先看清楚这个数字测的是什么。基准来自真实住宅设计，任务是“给平面图和层数，把模型建出来”——本质上是翻模，不是原创设计。论文自己也承认，设计质量只是“合理”（六项设计评价平均 3 分，满分 5 分），真正被验证的是操作层面。

再看那 22.2%。建模是长链条任务，几百个动作里错一个就可能级联。端到端成功率接近八成，意味着每五个任务里有一个会卡住或产出半成品，而这个半成品未必能被一眼看出来——构件都在，参数可能是错的。对个人练手无所谓，对交付项目就是验收问题。

论文没回答的还有几处：单栋模型的耗时与 token 成本未公开；评测只在一个软件上做，跨软件迁移效果未知；界面改版后预生成的坐标序列要不要重做，也没结论。这些在工程上都不是小事。

四、给 BIM 工程师的几条实话

第一，把建模规范写成机器能读的文档。 这套系统最容易被忽略的部件是那个文档检索库——它照着说明书干活。企业如果想让同类工具在自己这儿跑通，最有价值的资产不是买模型，而是把图层规则、构件命名、参数填写、视图设置写成一份结构清晰、步骤完整的内部手册。写成给人看的散文和写成给机器看的条目，是两件事。

第二，样板文件比建模速度更值钱。 GUI 智能体靠界面定位元素，任何自定义面板、浮动工具条、非标快捷键都在给它增加不确定性。反过来，把样板文件、工作空间、视图模板固定下来，等于给自动化铺了一条轨道。

第三，验收要看数据，不看渲染。 端到端跑完之后要有一份可核验的检查：构件数量、类型参数、面积与层高是否落在容差内。这套检查现在多半靠人工抽检，值得做成脚本。

第四，先想清楚它在你的业务里对应哪一段。 翻模、翻图、竣工模型补建这类规则明确的活最先被啃下来；方案创作、异形处理、专业协调还早。把人挪到后者，比指望它替掉一个建模组现实。

五、它和“AI 出图”那条线的区别

十天前我们写过 Dream 那类公司——自己当 architect of record，交付带签字的施工图，赌“AI 能把设计做完”。BIMgent 从过程端切进来，赌“AI 能把软件用好”。前者要解决执业资格与责任，后者要解决操作可靠性，两条线短期不会合并。

后者的落地节奏可能更快：它不改变交付制度，只改变一个人每天八小时里的几百次点击。带来的问题也更具体——产出翻三倍之后，岗位描述、计价方式、校审比例怎么改，论文不会回答。