Multiple Angles 背后的技术：LoRA 与 3D AI

引言

Multiple Angles 代表了 AI 驱动图像生成的重大进步。在本文中，我们将探索使我们的多角度图像生成成为可能的前沿技术。

基础：Qwen-Image-Edit-2511

我们的系统建立在 Qwen-Image-Edit-2511 之上，这是阿里巴巴 Qwen 团队开发的强大图像编辑模型。该模型擅长根据文本指令理解和操作图像。

为什么选择 Qwen-Image-Edit？

• 强大的图像理解能力
• 通过自然语言实现精确的编辑控制
• 高质量输出生成
• 适合微调的稳健架构

LoRA：低秩适应

什么是 LoRA？

**LoRA（低秩适应）**是一种微调技术，允许我们为特定任务调整大型预训练模型，而无需修改模型的所有参数。

LoRA 不是更新数十亿个参数，而是引入小型可训练矩阵来捕获特定任务的知识。这种方法提供了几个优势：

1. 效率：存储占用更小
2. 速度：更快的训练和推理
3. 质量：与完整微调相当或更好的结果
4. 可组合性：可以与其他 LoRA 组合

我们的 LoRA 实现

对于 Multiple Angles，我们开发了一个专门的 LoRA：

• 理解 96 个不同的相机位置
• 在各视图之间保持 3D 一致性
• 从不同角度保持主体身份
• 响应自然语言相机描述

高斯泼溅：3D 的秘密

了解高斯泼溅

高斯泼溅是一种革命性的 3D 表示技术，使用数百万个 3D 高斯来表示场景。与传统的基于网格或基于 NeRF 的方法不同，高斯泼溅提供：

• 实时渲染能力
• 高视觉质量
• 高效内存使用
• 从图像快速训练

我们如何使用高斯泼溅

我们的训练数据是使用高斯泼溅技术生成的：

1. 3D 场景重建：我们重建了数千个 3D 场景
2. 多视图渲染：从 96 个相机位置生成一致的图像
3. 训练对：为 LoRA 训练创建源-目标图像对

这种方法确保我们的模型学习真正的 3D 一致变换，而不仅仅是 2D 图像操作。

训练过程

数据收集

我们策划了一个多样化的数据集：

• 3,000+ 高质量主体
• 多样的物体类别（产品、角色、车辆等）
• 多种光照条件
• 各种背景类型

训练配置

质量保证

每个训练样本都经过：

1. 一致性检查 - 确保 3D 准确性
2. 质量过滤 - 移除伪影
3. 多样性验证 - 保持数据集平衡

提示系统

相机描述格式

我们的模型使用结构化的提示格式：

<sks> [方位角] [仰角] [距离]

示例：

• <sks> front view eye-level shot medium shot
• <sks> right side view high-angle shot close-up
• <sks> back view low-angle shot wide shot

为什么使用这种格式？

这种结构化方法允许：

• 精确控制相机定位
• 自然语言理解
• 跨生成的一致结果
• 轻松集成到工作流程

与其他方法的比较

与传统 3D 建模相比

与其他 AI 方法相比

未来发展

我们正在持续改进 Multiple Angles：

• 更高分辨率支持
• 更多相机位置
• 视频生成能力
• 自定义角度输入

结论

Multiple Angles 结合了最先进的 AI 技术——LoRA 微调、高斯泼溅数据和强大的 Qwen-Image-Edit 模型——以提供前所未有的多角度图像生成控制。

我们对质量和创新的承诺驱使我们不断改进和扩展这项技术的能力。

立即体验 Multiple Angles →