这篇论文,讲道理我个人不是很喜欢,因为实验感觉也不是很充分,理论上感觉创新性也没那么高,只是提供了一个强有力的baseline,连作者本人也说大家对这篇文章的关注度过高了。不过,既然能引起大家广泛关注,还是有吸引人的地方的,那么对这篇论文进行介绍。
创新点
- 提出了一个feature map groups之间的attention机制,即Split-Attention block。通过像ResNet那样堆叠这些Split-Attention blocks,可以得到一个新的ResNet变体——ResNeSt。该模型保留了ResNet的整体结构,能够被应用到下游任务,且没有引入额外的计算量。
- ResNeSt模型比其他ResNet变体表现更好。如ResNeSt-50在图像分类任务上比最好的ResNet变体性能提高了1%。这种分类性能上的提升也带动了下游任务精度的提升。
创新点来源
虽然图像分类技术方面已经取得了巨大的进步,但是延伸出来的其他应用如目标检测、图像分割仍然使用ResNet及其变体作为backbone,因为这些结构简单且模块化。