LegoGPT – 卡内基梅隆大学发布创新乐高积木设计模型以推动教育和创意思维的发展

LegoGPT是什么

LegoGPT 是卡内基梅隆大学推出的乐高积木设计模型，支持基于文本提示生成物理稳定且能构建的乐高积木模型。LegoGPT 基于自回归语言模型和大规模乐高设计数据集进行训练，根据用户输入的文本描述逐步生成乐高结构，确保设计的稳定性和可组装性。LegoGPT 支持为乐高模型添加纹理和颜色，生成的模型能手动组装或用机器人自动组装。LegoGPT 为乐高设计提供高效且富有创意的生成方式，推动AI在物理世界中的应用。

LegoGPT的主要功能

• 文本生成乐高设计：根据用户输入的文本描述（如“一个带有四个直腿的椅子”），生成物理稳定且能构建的乐高积木模型。
• 物理稳定性验证：实时检查生成的乐高结构是否稳定，若不稳定则自动回滚重新生成。
• 纹理和上色功能：为生成的乐高模型添加纹理和颜色。
• 自动组装支持：生成的乐高设计适合手工组和机器人自动组装。

LegoGPT的技术原理

• 自回归语言模型：基于自回归语言模型作为基础架构。将乐高设计任务转化为一个序列生成问题，基于预测下一个积木的放置位置和尺寸逐步构建乐高结构。
• 物理感知的回滚机制：在生成过程中，实时检查生成的乐高结构是否符合物理稳定性要求。如果发现不稳定的部分，模型回滚到最近的稳定状态，重新生成后续的积木，确保最终设计的稳定性。
• 文本到乐高的映射：基于自然语言处理技术理解文本中的几何和结构信息，转化为乐高积木的放置指令。
• 大规模数据集训练：LegoGPT 的训练数据集包含大量的乐高结构和对应的文本描述。基于在这些数据上进行训练，模型能学习到如何从文本生成稳定且多样化的乐高设计。

LegoGPT的项目地址

• 项目官网：https://avalovelace1.github.io/LegoGPT/
• GitHub仓库：https://github.com/AvaLovelace1/LegoGPT/
• arXiv技术论文：https://arxiv.org/pdf/2505.05469
• 在线体验Demo：https://huggingface.co/spaces/cmu-gil/LegoGPT-Demo

LegoGPT的应用场景

• 创意设计：帮助设计师快速生成乐高原型，验证创意。
• 教育工具：激发学生创造力，学习物理和空间知识。
• 玩具开发：为乐高爱好者生成个性化模型。
• 自动化组装：支持机器人自动组装乐高，提高效率。
• 虚拟现实：为 VR 和游戏生成逼真的乐高模型。