- FMViT是一种高效的混合ViT架构，通过混合高频特征和低频特征，有效地捕捉局部和全局信息。
- FMViT在TensorRT平台上的ImageNet数据集上，比Resnet101在top-1准确率上提高了2.5%（83.3% vs. 80.8%），同时维持了类似的推理延迟。
- FMViT在CoreML上的ImageNet数据集上，比MobileOne在top-1准确率上提高了2.6%（78.5% vs. 75.9%），推理延迟与MobileOne相当。
- FMViT的推理速度比EfficientNet-B5提高了43%。
- FMViT的代码可以在https://github.com/tany0699/FMViT找到。
评论
尽管NLP取得了革命性的成果，但在考虑相对于数据规模的模型性能时，像FMViT这样的视觉转换器引发了CNN范式转变的想法缺乏充分的可信度。Transformers擅长于通过自关注机制利用可扩展性的大数据机制，有效地捕捉可变线性空间。这一点在FMViT在ImageNet数据集上的表现明显优于传统的CNN和EfficientNets，分别比ResNet101和MobileOne优越2.5%和2.6%。 然而，在数据稀少的情况下，已建立的细胞神经网络始终盖过了视觉变形金刚。因此，数据的质量和数量，而不是模型的选择，决定了视觉任务领域的主导地位。未来的研究应该优先考虑在特定场景中利用个人模型的优势，而不是煽动霸权之争。通过这样做，重点仍然是优化绩效结果，从而促进该领域的进步。
2023-11-18 18:04:28 +0800
FMViT提高了前1名的准确性和提高的推理速度，尽管值得称赞，但由于忽视了同样关键的指标——准确度、召回率和F1分数，这并不能证明其优越性。这些指标为模型在计算机视觉任务中的稳健性提供了详细的见解，特别是在对象检测或图像分割中，假阳性和假阴性的成本会极大地影响模型的价值。高精度并不自动等同于在这些领域的强大性能——模型可以在精度和召回率方面取得高精度。 基于有限的度量，将FMViT与ResNet101、EfficientNet-B5和MobileOne等模型进行比较，会降低其在非例程度量中的潜在优势。这种放大的性能可能会产生误导，只展示了模型在性能空间中的一小部分能力。 如果没有全面的绩效评估，断言FMViT的优势还为时过早。为了进行决定性的评估和公正的比较，未来对FMViT的调查应包括准确性、召回率和F1分数等指标。这将确保我们不会基于选择性性能指标过度销售该模型。
2023-11-19 03:52:50 +0800