• 深度材料感知跨光谱立体匹配
• • 免责声明
  • 依赖
  • 数据
  • 训练
  • 测试
  • 预训练模型

深度材料感知跨光谱立体匹配

简体中文|English

Tiancheng Zhi, Bernardo R. Pires, Martial Hebert, Srinivasa G. Narasimhan

CVPR2018:【项目】 【论文】 【支持材料】

免责声明

这是CVPR代码的改进和简化版本。与原始CVPR版本相比，这段代码有更好的性能，主要的改进有：

• STN没有白平衡

• 在STN中使用普通卷积而不是对称卷积

• 随机翻转STN的输入和输出

• 自动调整学习率

• 超参数有调整

要与原始CVPR结果进行比较，请参阅项目页面(数据集的第一个下载链接)。

依赖

• TITAN Xp GPU * 2

• Ubuntu 16.04

• Python 3

• PyTorch 1.0

• OpenCV

• Visdom (for visualization)

数据

下载rgbnir_stereo，将data和lists移动到DMC文件夹中。

下载precomputed_material，并把它放在DMC文件夹下。

然后运行:

sh cp_material.sh precomputed_material data

更多关于匹兹堡立体数据集的信息和下载链接，请参阅项目页面。

训练

CUDA_VISIBLE_DEVICES=1,0 python3 train.py

测试

CUDA_VISIBLE_DEVICES=1,0 python3 test.py --ckpt-path ckpt/47.pth

预训练模型

下载预训练模型 pretrained.pth

性能 (RMSE,值越小越好):

模型	普通场景	灯光	玻璃	光滑表面	植物	皮肤	衣服	包	平均
CVPR'18	0.53	0.69	0.65	0.70	0.72	1.15	1.15	0.80	0.80
Pretrained	0.47	0.56	0.56	0.61	0.72	0.93	0.91	0.86	0.70