pytorch 加载自己的数据集,pytorch多任务多loss
参考：https://zhuanlan.zhihu.com/p/98059235
最近做实验，参考大神们的教程自己运行数据集，
把整个过程记录下来，以备日后参考。
使用的代码地址：https://github.com/lufficc/SSD
这段代码相对较新，与两年前star数量最多的SSD Pytorch实现相比，它具有更大的灵活性和更详细的文档。作者给出了不同的主干，并在readme中给出了特别详细的修改说明。对于想自己换网络，自己写数据类的小伙伴，强烈安利！感谢原作者。
因为SSD的安装使用和源代码解读是两大部分，所以分两部分写。第一部分主要是关于SSD的使用。
SSD安装/培训/推理安装: (Ubuntu环境)这段代码的作者在自述中不能说得太详细，补充几点说明就好：
养成一个好习惯，尝试在康达创建一个虚拟环境CUDA9/10，CUDA8不行。小提示：Conda install torch vision==0.3.0，一行命令基本上有助于在Git克隆https://github.com/lufficc/SSD.git.上安装torch相关的依赖项
cd固态硬盘
#必需的包：torch torch vision yacs tqdm opencv-python vizer
pip安装-r要求. txt
#搞定！仅此而已！没有建设！没有麻烦的设置！
插播一下数据准备:
在根目录中创建新的数据集文件夹。源代码支持coco/voc格式。当然，你也可以自定义一个数据接口。这个作者也有指导！请参考ssd/data/datasets/directory中的coco.py和voc.py来编写自己的数据类。
含挥发性有机化合物
-数据集
- voc2007
-注释
- 1.xml，2.xml，.
-jpe images
- 1.jpg，2.jpg，.
-图像集
-主要
- test.txt #用于测试。例如1、2、3、4.即index plus。xml或者。jpg是标签和图像的名称。
- train.txt #进行培训
- trainval.txt #培训加验证
- val.txt #验证
只需为自己特定的数据格式写一个类，仿照VOC dataset(torch . utils . data . dataset)！
对于想自己定义数据类以及更改网络结构的，给出原作者的指导
https://github.com/lufficc/SSD/blob/master/DEVELOP_GUIDE.md
voc格式的长度。具有三个目标的xml文件如下：
注意：这边有个坑，原作者是在训练时同事用了VOC2007和VOC2012的格式。所以在自己的数据集中也要有这两种格式的，其实就是吧VOC2007的复制一下，然后把名字改成VOC2012就行。或者如下修改只用voc2007就行。
当然只能用VOC2007，在SSD-master/configs/vgg _ SSD 300 _ VOC 0712 . YAML中设置就可以了。
在训练阶段设置好自己的数据后，需要将其路径写为ssd/config/path_catlog.py，并指定文件configs/vgg_ssd300voc0712.yaml中使用的数据。为了方便，我直接把我的数据命名为上面的VOC2007，这样就不用改pathcatlog.py.了。
注：另一个需要特别注意的点是类别的更改。SSD-master/SSD/config/defaults . py和configs/vgg_ssd300voc0712.yaml中的NUM_CLASSES是你自己数据的类别。记得加背景，而且必须和数据集中的一样，不能有大写，空格等符号。“同时，一定要把类别SSD-master/ssd/data/datasets/voc.py放在SSD-master/ssd/data/datasets/或者标签都改为自己coco.py(如果使用voc/coco格式的话)。
SSD-master/SSD/config/defaults . py
configs/vgg_ssd300voc0712.yaml
SSD-master/ssd/data/datasets/voc.py
注意：
在运行train.py的训练时，因为在ssd/config/default.py中，默认是vgg网络作为主干，但是如果选择使用预训练模型，往往会遇到一个问题。预训练模型需要从程序中指定的url下载，但是经常失败。所以，这个时候在网上找个vgg16预训型号vgg16_reducedfc.pth比较好。根据错误提示，将模型放在~/下。torch/models/，并在命令行下操作。torch是一个隐藏文件，在图形界面中是找不到的。
根据训练命令
python train . py-config-file configs/vgg _ SSD 300 _ VOC 0712 . YAML根据提示，由于网上下载了vgg16的预训练模型vgg16_reducedfc.pth太慢，所以，在其他地方下载后放置提示文件夹。，
再次执行训练命令。
python train . py-config-file configs/vgg _ SSD 300 _ VOC 0712 . YAML
训练成功。然后训练权重会在输出文件夹下生成。注意：如果要重新训练，要清除生成的训练重量文件。
测试python演示。py-config-file configs/vgg _ SSD 300 _ VOC 0712。YAML-图像_目录演示-分数_阈值0.7-检查点./输出11/vgg _ SSD 300 _ VOC 0712/model _ final。甲状旁腺素
测试结果
会再输出11文件夹里面生成结果文件夹，里面是带有标签的测试结果
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。