请问可以使用多gpu吗？

[ruiqiyan]

[chenkang455]

Hi, @ruiqiyan , 感谢你对我们工作的兴趣，我们暂时还未提供多GPU训练的代码。我们的实验在单张4090GPU上开展，合成数据集的训练时间在3小时左右，真实数据集在2小时左右（尺寸稍小），所以并未设计多GPU训练的方式。

多GPU训练的方式，我已加入todo list，后续有时间研究会更新上来😊😊😊

[ruiqiyan]

非常感谢您的回复。我对数据的格式还有一些疑惑，请问您能给我讲解一下跑这项工作需要那些数据吗？怎么制作自定义的数据呢？

[chenkang455]

请问您能给我讲解一下跑这项工作需要那些数据吗？

跑这项工作只需要输入不同视角下的脉冲以及对应视角下粗略估计的pose（从COLMAP中直接估计出来），在给定的数据集格式中包含了blur_data，spike_data，sharp_data三部分，这里的数据生成逻辑是直接借鉴了脉冲去模糊里的仿真代码 https://github.com/chenkang455/S-SDM/blob/master/scripts/GOPRO_dataset.md。

在这个项目当中，无需使用blur_data，这里包含blur_data文件夹是只是为了方便可视化观察输入数据。同时，sharp_data是提供的GT图像，用于计算图像恢复和3D恢复的PNSR，SSIM和LPIPS评价指标。在真实数据集当中，由于我们无法捕捉到对应的清晰图像，所以你可以在sharp_data当中存放脉冲直接重构的图像来让代码运行起来，但是指标的计算结果是不准的。

怎么制作自定义的数据呢？

针对合成数据集，我们首先需要利用Blender渲染出高帧率的视频序列，接着在渲染结果的基础上利用插帧算法得到更高帧率的视频序列用于仿真脉冲流，然后在插帧后数据集上利用脉冲模拟器仿真，即可得到对应每个视角下的脉冲流，具体的流程见：https://github.com/chenkang455/S-SDM/blob/master/scripts/GOPRO_dataset.md ，针对真实数据集，我们可以直接捕获脉冲流。

在获得仿真/真实脉冲流后，我们需要利用COLMAP来估计对应视角下不准确的pose，具体的做法是直接从脉冲里面利用tfp重构图像，接着用COLMAP来进行估计，这部分可以参考https://github.com/WU-CVGL/BAD-Gaussians#:~:text=Deblur%2DNeRF.-,Your%20Custom%20Dataset,-Use%20the%20ns， 直接使用

ns-process-data images \
    --data llff_data/blurtanabata/images \
    --output-dir data/my_data/blurtanabata

估计位姿后即可得到对应的ply和colmap文件夹。

更加具体的数据处理流程（Blender仿真，插帧，脉冲仿真，位姿处理）预计这周内完成更新😊😊😊

[chenkang455]

Hi, @ruiqiyan ，完整的合成数据及处理流程可以参考https://github.com/chenkang455/USP-Gaussian/blob/master/scripts/Dataset.md

[Hoantrbl]

Hi, @ruiqiyan ，完整的合成数据及处理流程可以参考https://github.com/chenkang455/USP-Gaussian/blob/master/scripts/Dataset.md。

Perfect work!