本代码为基于 DeepLabV3-ResNet50 的语义分割研究（含数据组织、训练、验证与推理脚本），用于红外/可见光多源数据集的语义分割研究与实验。源代码参考如下所示，对其进行适当修改后，用于多模态图像融合的语义分割研究。
源代码来自，B站博主@霹雳吧啦Wz： https://github.com/WZMIAOMIAO/deep-learning-for-image-processing
原博文链接可参考： https://blog.csdn.net/qq_37541097/article/details/121797301
训练数据基于MSRS数据集，参考链接：https://github.com/Linfeng-Tang/MSRS
MSRS的训练集共包含IR和VIS图像各1083张图像，用SeAFusion得到融合结果后训练语义分割模型。
SeAFusion：https://github.com/Linfeng-Tang/SeAFusion
conda create -n IF_DeepLabv3 python=3.9.18
conda activate IF_DeepLabv3
pip install torch==1.12.1 torchvision==0.13.1
pip install -r requirements.txt-
predict.py：预测代码@加载训练权重，预测单张图像的语义分割结果。 -
predict_batch.py：预测代码@加载训练权重，批量预测语义分割结果，得到整个文件夹下全部图像的语义分割结果。 -
validation.py：验证代码@加载训练权重，对预测的结果和标签计算对应指标，包括mIoU和mAcc。 -
train.py：训练代码@基于MSRS数据集，用SeAFusion方法融合红外与可见光的结果来训练语义分割模型。
- 类别定义：
pascal_voc_classes.json中定义了项目使用的类别（用于训练和可视化调色板）。 - 调色板：
palette.json存储颜色映射，用于将预测索引图转为可视化伪彩色图像。 - 模型权重：
./save_weights/用于保存模型训练的权重，包含best.pth和last.pth。 - 读取文件名：
read_image_name.py输入一个文件夹，读取对应文件夹中图像的文件名，然后保存在filenames.txt中。 - 训练数据集：训练数据按VOC格式放在当前文件夹
./VOCdevkit/，用于模型训练。
下载链接： https://pan.baidu.com/s/5aqJS-DSKMGJf6hTy6kpUYQ
- 模型权重：已训练的模型权重，下载放到对应文件夹
./save_weights/ - 骨干网络：训练模型的骨干网络为resnet50，下载放到
./deeplabv3_resnet50_coco.pth - 训练数据：基于SeAFusion融合方法生成的对应训练集，包含Mask标签、数据等全部下载替换当前文件夹即可
./VOCdevkit/
## 训练
python train.py
## 验证
python validation.py
## 测试
python predict.py
-
详细实验结果见论文："Joint multi-view embedding with progressive multi-scale alignment for unaligned infrared-visible image fusion"（ME-PMA）。代码与说明：https://github.com/yidamyth/ME-PMA
-
对于直接或间接采用本项目方法或实验设置的工作，欢迎引用我们的论文；若在下游任务实验中严格遵循本文的配置进行评估，请直接引用本文，或在文中明确说明实验设置来源或实验设置参考本工作即可。
-
任何问题欢迎提对应的Issue(^▽^)，尽可能第一时间回复大家。
引用 BibTeX：
@article{2026_ME-PMA,
title = {Joint multi-view embedding with progressive multi-scale alignment for unaligned infrared-visible image fusion},
author = {Chen, Yida and Zhang, Yafei and Li, Huafeng and Yu, Zhengtao and Liu, Yu},
journal = {Information Fusion},
volume = {128},
pages = {103960},
year = {2026},
doi = {10.1016/j.inffus.2025.103960}
}