同时,将本学期的学习任务,随本周周报一起上传。任务要求:阅读文献(篇数)、掌握工具(具体程度)、复现代码(文献中的经典模型)、具体收获、创新点(总结、思路及举一反三的想法等)、痛点问题(从阅读文献中得到、悟出、生活学习中感受、新闻媒体中得出、其他各种途径中获得)、其他任何具体可以量化的学习任务等,上传本群。我会在学习结束时,进行一定的考核。

每个月阅读文献篇数:10篇,其中7篇精读,3篇略读。主要方向:图像分割方向,骨干网络的总结 具体收获:

掌握工具(具体程度):numpy ,pytorch(熟悉常用的库)

目前已经读文献:

  • A ConvNet for the 2020s

  • Medical image segmentation using deep learning: A survey 很好的一篇综述文献,从骨干网、功能模块、损失函数三个方面介绍了医学分割的监督学习方法。骨干网络主要介绍了

  • Deep Residual Learning for Image Recognition 提出经典的ResNet。延伸变种非常多。 创新点:提出了残差结构,解决了梯度爆炸的问题。ResNet结构至今活跃在各种SOTA模型中,可迁移运用的能力很强。

  • Attention U-Net: Learning Where to Look for the Pancreas Attention UNet同样是一个重要的UNet改进网络, 

  • CBAM: Convolutional Block Attention Module 运用广泛的CBAM模块。 

  • CE-Net: Context Encoder Network for 2D Medical Image Segmentation

  • Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation

Inception系列:

  • DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs Inceptino v1经典的系列。 

  • Xception: Deep Learning with Depthwise Separable Convolutions 这个系列重要的思想是解耦。把各个卷积功能解耦到小的功能块中。主要学习:如何把结构迁移运用到新的框架上。

  • Squeeze-and-Excitation Networks SqueezeNet同样是很重要的网络,涉及压缩和提取的网络。 

  • $U^2$-Net: Going Deeper with Nested U-Structure for Salient Object Detection Backbone是UNet,把每一个下采样模块替换成UNet就构成了U$^2$-Net。

计划继续读的文献:

  • BiSeNet
  • TransUNet
  • SwinUNet
  • DANet 阅读目标:学习注意力机制和CNN结合使用的方式:并联、串联,或者把Encoder替换成注意力机制,把Skip-Connetion提出

复现代码:

  • 上个学期复现 LeNet5
  • 这个学期复现 U$^2$-Net

2023/4/23 周报