我们提出了一种三维潜在表示，能够联合建模物体几何和视角相关的外观。大多数早期研究主要集中于重建三维几何或预测与视角无关的漫反射外观，因此难以捕捉真实的视角依赖效果。我们的方法利用RGB深度图像提供表面光场样本。通过将该表面光场的随机子样本编码为一组紧凑的潜在向量，我们的模型学会在统一的三维潜空间中表示几何形状和外观。这种表现方式在复杂光照下还原了视角相关的效果，如镜面高光和菲涅尔反射。我们进一步训练一个潜在流动匹配模型，以基于单一输入图像学习其分布，从而生成与输入中光照和材质外观一致的三维物体。实验表明，我们的方法比现有方法实现了更高的视觉质量和更好的输入忠实度。