单模态生成

introduction

先利用单光子一个模态做不同深度、位置、强度物体在有雾没雾环境下的重构。 利用生成过程中得到的解码器实现对单光子的深度、位置、强度成像，做photon efficient imaging； 利用生成过程中得到的编码器实现对单光子任意物体任意深度位置的有雾没雾环境下的生成，做label-induced imaging； 后期利用其他模态引入到这个解码器和编码器，可以实现从其他模态到单光子、单光子到其他模态的生成； 同时引入文本后，可实现对于单光子数据的语义分析。 以后将这套逻辑理论迁移到水下，可实现水下的成像。

idea

UNET一共从down引出四个skip到up， 我们的分辨一共有四个方面：

• 有雾没雾，雾的浓度
• 物体深度，物体强度
• 物体位置
• 物体类别

gpt5讨论金字塔特征

• enc1（最浅、分辨率最高，感受野最小）

  • 表示最合适的信息：物体强度/反射率的局部细节（intensity/texture）、边缘与深度不连续处、局部对比度变化、雾导致的高频丢失与偏灰“幕布”现象的近端线索。
  • 对应任务/属性：物体强度图的细节、深度边缘/法线、是否有雾的早期线索（但最终决策应由上层整合）。

• enc2（浅中层，感受野扩大，仍保留较准确信息）

  • 表示最合适的信息：区域级的传输率/透射率 t(x) 粗图、强度与雾的分离特征（J 与 A 的分解线索）、具有边界意识的语义浅特征。
  • 对应任务/属性：物体强度图的中尺度结构、是否有雾（分类头放在这层最稳妥）、深度的中尺度线索（视差、阴影、纹理梯度）。

• enc3（深中层，感受野大，语义聚合）

  • 表示最合适的信息：目标级几何与语义（形状/部件配置/类别原型）、粗深度场（低分辨率深度图）、区域级雾厚度分布（若浓度非完全全局常量）、目标的粗位置/布局。
  • 对应任务/属性：物体类别的先验、目标中心/粗位置热图、低分辨率深度回归、区域雾厚度（分段常数/缓变）。

• enc4/瓶颈（最深，感受野近全局；你模型里 W 轴未下采样，利于沿深度建模）

  • 表示最合适的信息：全局大气光 A、全局/主导的雾浓度参数 β（或其分布的超参数）、场景全局布局与尺度、类别全局判别信息、全局深度先验。
  • 对应任务/属性：雾的浓度（标量或极低维向量）与大气光、场景级别的类别/存在性、超低分辨率深度/布局。

gpt5给出的金字塔特征

• 有雾/没雾（binary）
  • 主导层 enc2（鲁棒且计算便宜），辅以 enc1 的局部对比度与高频线索。
  • 理由 是否有雾更多依赖局部频谱和对比度退化，浅层就能捕获；在 enc2 决策能避免 enc1 的噪声。
• 雾的浓度（β，或全局/主导雾强度）
  • 主导层 enc4/瓶颈（必要时 enc3 存放区域偏差项）。
  • 理由 浓度估计需要结合“全局对比—深度关系”（t(z)=exp(-β·z)）和大气光 A，属全局统计；你网络在 W 轴不下采样，enc4 能沿“深度”维聚合长程信息。
• 物体的深度图
  • 多尺度分解：
    • enc4/enc3 全局/粗深度（低频、整体层级与远近关系）。
    • enc2 中尺度深度和表面形变。
    • enc1 深度边缘与细节（高频）。
  • 理由：深度估计天然是跨尺度的；边界靠浅层，高层提供整体几何一致性。
• 物体的强度图（固有辐射/反射）
  • 主导层 enc1、enc2。
  • 理由 强度/纹理是局部光度属性，浅层携带最充分；在 enc2 可进一步与雾（A、β）分离。
• 物体的位置（坐标/中心/包围盒）
  • 主导层 enc3（粗定位/布局）、enc1-enc2（精细对齐）。
  • 理由 位置需要语义聚合（enc3）确定“在哪个区域”，再由浅层的高分辨率特征确保像素级对齐。
• 物体的类别
  • 主导层 enc4（全局语义）、enc3（类别原型/部件结构）。
  • 理由 类别判别依赖大范围上下文与形状先验，适合在最深层聚合。

gpt5辅助信息

• 增加轻量辅助头（多任务蒸馏/监督）：
  • enc2：雾存在性分类头。
  • enc4：β 与 A 的回归头（MSE / SmoothL1）。
  • enc3/enc4：低分辨率深度回归头；enc1/enc2：深度梯度/边缘监督。
  • enc3：类别原型对齐（分类辅助）。
• 物理一致性正则（若有 I, J, t, A 标注或伪标注）：
  • I ≈ J·t + A·(1−t) 约束；t 与深度单调性正则（沿 W 轴单调递减/非增，视你的坐标定义）。
• 用我们前面加的 Skip-AE/SSM：
  • 深层 Skip-AE4 的潜变量专门承载 {β, A, 类别全局向量}；浅层 Skip-AE1/2 侧重重建 J 与边界。
  • 若沿 W 是“深度轴”，在 enc4 放 SSM 扫描（或 Mamba）对 t(z) 建模，最贴合物理过程。

项目介绍

unet提供了UNet3D、UNet3D+attention、UNet3D+SSM； crossnet提供了UNet3D+skipAE、UNet3D+skipAE+SSMscan+fog/tar_detector