3D Gaussian Splatting 入门：新一代实时辐射场渲染技术

# 每个高斯点的参数
position: Vector3      # 3D 位置 (x, y, z)
covariance: Matrix3x3  # 协方差矩阵（形状和方向）
alpha: float           # 不透明度
sh_coefficients: []    # 球谐系数（颜色）

# 初始化流程
1. 使用 COLMAP 进行运动恢复结构 (SfM)
2. 从 SfM 点云创建初始高斯分布
3. 每个点赋予：
   - 位置：来自 SfM
   - 协方差：基于邻域点
   - 颜色：来自观测
   - 不透明度：初始值

# 优化参数
- 位置 (position)
- 旋转 (rotation, 用四元数表示)
- 缩放 (scale)
- 不透明度 (opacity)
- 球谐系数 (spherical harmonics)

# 优化策略
1. 自适应密度控制
   - 分裂过大高斯
   - 删除过小/透明高斯
   - 克隆欠重建区域

2. 损失函数
   - L1 损失
   - D-SSIM (结构相似性)

# 渲染流程
for each pixel:
    # 1. 将 3D 高斯投影到 2D
    2D_gaussian = project_3D_to_2D(gaussian, camera)
    
    # 2. 按深度排序
    sorted_gaussians = sort_by_depth(gaussians)
    
    # 3. Alpha 混合
    color = 0
    alpha_accum = 0
    for g in sorted_gaussians:
        weight = g.alpha * (1 - alpha_accum)
        color += weight * g.color
        alpha_accum += weight
        if alpha_accum > 0.999:
            break
    
    return color

# 克隆官方仓库
git clone https://github.com/graphdeco-inria/gaussian-splatting.git
cd gaussian-splatting

# 创建 Conda 环境
conda create -n gaussian_splatting python=3.8
conda activate gaussian_splatting

# 安装依赖
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# 编译 CUDA 扩展
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn

# 准备数据（COLMAP 格式）
python convert.py --source_path <path> --camera <COLMAP/Blender>

# 训练
python train.py -s <path>

# 评估
python train.py -s <path> --eval

# 启动实时查看器
python -m http.server 8080

# 浏览器访问
http://localhost:8080

class GaussianModel:
    def __init__(self, sh_degree: int = 3):
        self.active_sh_degree = 0
        self.max_sh_degree = sh_degree
        
        # 高斯参数
        self._xyz = torch.empty(0)           # 位置
        self._features_dc = torch.empty(0)   # 基础颜色
        self._features_rest = torch.empty(0) # 高阶球谐
        self._scaling = torch.empty(0)       # 缩放
        self._rotation = torch.empty(0)      # 旋转
        self._opacity = torch.empty(0)       # 不透明度
        
    def get_covariance(self, scaling_modifier=1):
        """计算协方差矩阵"""
        L = build_scaling_rotation(self._scaling * scaling_modifier, self._rotation)
        actual_covariance = L @ L.transpose(1, 2)
        return actual_covariance
    
    def render(self, viewpoint_camera, pipe, bg_color):
        """渲染高斯场景"""
        return gaussian_rasterization(
            means3D=self._xyz,
            means2D=torch.zeros_like(self._xyz),
            shs=self.get_features,
            colors_precomp=None,
            opacities=self._opacity,
            scales=self._scaling,
            rotations=self._rotation,
            cov3D_precomp=None,
            camera=viewpoint_camera,
            pipe=pipe,
            bg_color=bg_color
        )

def densify_and_prune(self, max_grad, min_opacity, extent, max_screen_size):
    """自适应密度控制"""
    
    # 1. 基于梯度分裂
    grads = self.xyz_gradient_accum / self.denom
    grads[grads.isnan()] = 0.0
    
    # 克隆：小高斯且梯度大
    if len(self.get_xyz) > 0:
        clone_mask = (
            (grads < max_grad).all(dim=1) &
            (self.get_scaling.max(dim=1).values < self.percent_dense * extent)
        )
        self.densify(clone_mask, "clone")
        
        # 分裂：大高斯且梯度大
        split_mask = (
            (grads >= max_grad).all(dim=1) &
            (self.get_scaling.max(dim=1).values >= self.percent_dense * extent)
        )
        self.densify(split_mask, "split")
    
    # 2. 剪枝：透明或过大的高斯
    self.prune(min_opacity)
    
    # 3. 重置统计
    self.reset_densification_stats()

# 输入：多视角照片
# 输出：可实时浏览的 3D 场景

# 适用场景
- 室内场景扫描
- 文物数字化
- 房地产 VR 看房
- 旅游景点重建

# 使用 3DGS 重建真实场景
# 在重建场景中生成合成数据

优势：
- 高保真度
- 实时渲染
- 可编辑光照/天气

# 在 VR 中浏览重建场景
# 支持 6DoF 交互

技术栈：
- 3DGS + WebXR
- 3DGS + Unity/Unreal

# 实拍场景快速重建
# 与 CG 元素合成

优势：
- 快速场景获取
- 真实光照信息
- 无缝合成

# 剪枝策略
- 删除不透明度 < 0.005 的高斯
- 限制最大高斯数量
- 定期合并相邻高斯

# 根据距离使用不同精度
if distance < 5:
    use_full_sh_degree = 3
elif distance < 15:
    use_full_sh_degree = 1
else:
    use_full_sh_degree = 0  # 只使用基础颜色

# 使用实例化渲染
for batch in gaussian_batches:
    render_batch(batch)