当前位置: 首页 > news >正文

福州关键词自然排名seo排名优化有哪些

福州关键词自然排名,seo排名优化有哪些,河南郑州网站推广优化外包,全屏滚动网站模板我们都知道Transformers相对于CNN的架构效率并不高,这导致在一些边缘设备进行推理时延迟会很高,所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。 Transformers能否在获得高性能的同时,跑得和Mobile…

我们都知道Transformers相对于CNN的架构效率并不高,这导致在一些边缘设备进行推理时延迟会很高,所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet的推理速度。

Transformers能否在获得高性能的同时,跑得和MobileNet一样快?为了回答这个问题,作者首先回顾了基于vit的模型中使用的网络架构和运算,并说明了一些低效的设计。然后引入一个维度一致的纯Transformer(没有MobileNet块)作为设计范例。最后以延迟为目标进行优化设计,获得一系列称为EfficientFormer的最终模型。最后还设计了EfficientFormerV2。

延迟分析

作者在论文中发现:

1、内核大、步幅大的补丁嵌入是移动设备上的速度瓶颈。

2、一致的特征维度对于令牌混合器的选择很重要。MHSA不一定是速度瓶颈。

3、convn - bn比LN (GN)-Linear更有利于延迟,对于延迟的降低,精度的小损失是可以接受的。

4、非线性的延迟取决于硬件和编译器。

EfficientFormer整体架构

该网络由补丁嵌入(PatchEmbed)和元Transformer块堆栈组成,表示为MB:

X0为批大小为B,空间大小为[H, W]的输入图像,Y为期望输出,m为块总数(深度)。MB由未指定的令牌混合器(TokenMixer)组成,后跟一个MLP块:

Xi|i>0是第i MB的中间特征。阶段Stage(或S)被定义为几个MetaBlocks的堆栈。该网络包括4个阶段。在每个阶段中,都有一个嵌入操作来投影嵌入维数和下采样令牌长度,表示为嵌入,如上图所示。

也就是说effentformer是一个完全基于transformer的模型,没有集成MobileNet结构。

Dimension-Consistent设计

网络从四维划分开始,后期进行三维划分。首先,输入图像由stem层进行处理,这是两个3 × 3,步幅为2的卷积作为patch嵌入:

其中Cj是第j级的通道号(宽度)。然后网络从MB4D开始,使用简单的Pool mixer提取低级特征:

式中,ConvB,G表示是否有BN和GeLU跟随卷积。在处理完所有MB4D块后,执行一次重塑以转换特征大小并进入3D分区。MB3D使用传统的ViT:

式中,LinearG表示线性后接GeLU, MHSA为:

其中,Q, K, V分别表示查询,键和值,b是参数化的作为位置编码的注意力偏差。

在定义了总体体系结构之后,下一步作者就开始搜索高效的体系结构。

以延迟为目标架构优化

定义了一个搜索高效模型的超级网络MetaPath (MP),它是一些可能块的集合:

其中I表示单位路径。

在网络的S1和S2中,每个区块可以选择MB4D或I,在S3和S4中,每个区块可以选择MB3D、MB4D或I。

在最后两个阶段只启用MB3D的原因有2个:1、由于MHSA的计算相对于令牌长度呈二次增长,因此在早期阶段将其集成将大大增加计算成本。2、网络的早期阶段捕获低级特征,而后期阶段学习长期依赖关系。

搜索空间包括Cj(每个Stage的宽度),Nj(每个Stage的块数,即深度)和最后N个应用MB3D的块。

搜索算法使用Gumbel Softmax采样对超级网络进行训练,以获得每个MP内块的重要性得分:

其中α评估MP中每个块的重要性,因为它表示选择一个块的概率。ε ~ U(0,1)保证探索。对于S1和S2, n∈{4D, I},对于S3和S4, n∈{4D, 3D, I}。

最后通过收集不同宽度的MB4D和MB3D的设备上延迟(16的倍数),构建一个延迟查找表。

也就是说EfficientFormer的架构不是通过人工设计的,而是通过NAS(Neural Architecture Search)搜索出来的。作者通过查找表计算每个动作产生的延迟,并评估每个动作的准确率下降。根据每延迟精度下降(-%/ms)选择动作。这个过程迭代地执行,直到达到目标延迟。(细节见论文附录)

结果展示

ImageNet上与广泛使用的基于cnn的模型相比,EfficientFormer在准确率和延迟之间实现了更好的权衡。

传统的vit在延迟方面仍然表现不佳。EfficientFormer-L3的top-1准确率比PoolFormer-S36高1%,在Nvidia A100 GPU上快3倍,在iPhone NPU上快2.2倍,在iPhone CPU上快6.8倍。

EfficientFormer-L1的Top1精度比MobileViT-XS高4.4%,并且在不同的硬件和编译器上运行得更快。

MS COCO数据集,EfficientFormers的表现始终优于CNN (ResNet)和Transformer (PoolFormer)。

使用ADE20K,在类似的计算预算下,EfficientFormer始终比基于CNN和transformer的主干性能好得多。

论文地址:

EfficientFormer: Vision Transformers at MobileNet Speed

https://avoid.overfit.cn/post/eb0e56c5753942cf8ee70d78e2cd7db7


文章转载自:
http://chutnee.c7510.cn
http://hydroscope.c7510.cn
http://auricular.c7510.cn
http://palingenetic.c7510.cn
http://essonite.c7510.cn
http://schoolcraft.c7510.cn
http://fireballer.c7510.cn
http://wreathe.c7510.cn
http://incurvature.c7510.cn
http://respective.c7510.cn
http://multichain.c7510.cn
http://specimen.c7510.cn
http://midair.c7510.cn
http://relegation.c7510.cn
http://scobicular.c7510.cn
http://trashy.c7510.cn
http://hypermnesis.c7510.cn
http://sacculus.c7510.cn
http://underpass.c7510.cn
http://nonproficiency.c7510.cn
http://wagsome.c7510.cn
http://saturdays.c7510.cn
http://eparchy.c7510.cn
http://electrovalent.c7510.cn
http://postlady.c7510.cn
http://vasotonic.c7510.cn
http://pyrex.c7510.cn
http://priorship.c7510.cn
http://convenient.c7510.cn
http://hairless.c7510.cn
http://claypan.c7510.cn
http://muton.c7510.cn
http://bovine.c7510.cn
http://polocrosse.c7510.cn
http://pediatrics.c7510.cn
http://coulombic.c7510.cn
http://admirably.c7510.cn
http://divertingness.c7510.cn
http://overexertion.c7510.cn
http://unclipped.c7510.cn
http://canner.c7510.cn
http://improbably.c7510.cn
http://repellence.c7510.cn
http://incrassation.c7510.cn
http://catalonia.c7510.cn
http://rance.c7510.cn
http://catamount.c7510.cn
http://damocles.c7510.cn
http://montserrat.c7510.cn
http://vinous.c7510.cn
http://totipalmate.c7510.cn
http://en.c7510.cn
http://salutatorian.c7510.cn
http://dumpling.c7510.cn
http://diabolatry.c7510.cn
http://caff.c7510.cn
http://ectoparasite.c7510.cn
http://macadamize.c7510.cn
http://babyhouse.c7510.cn
http://sumpitan.c7510.cn
http://conductress.c7510.cn
http://gallooned.c7510.cn
http://frugivore.c7510.cn
http://scalpel.c7510.cn
http://chambezi.c7510.cn
http://substorm.c7510.cn
http://sera.c7510.cn
http://azulejo.c7510.cn
http://loquitur.c7510.cn
http://antewar.c7510.cn
http://ged.c7510.cn
http://precancerous.c7510.cn
http://thoria.c7510.cn
http://intensive.c7510.cn
http://houseline.c7510.cn
http://hageman.c7510.cn
http://farthermost.c7510.cn
http://kharg.c7510.cn
http://idoneity.c7510.cn
http://drinkery.c7510.cn
http://doorplate.c7510.cn
http://cratered.c7510.cn
http://hubcap.c7510.cn
http://palaeoanthropology.c7510.cn
http://formulizer.c7510.cn
http://spreathed.c7510.cn
http://rattlebrained.c7510.cn
http://bushtit.c7510.cn
http://assumable.c7510.cn
http://reparation.c7510.cn
http://administrant.c7510.cn
http://pedder.c7510.cn
http://histochemical.c7510.cn
http://carpetnetter.c7510.cn
http://savable.c7510.cn
http://trigger.c7510.cn
http://minicalculator.c7510.cn
http://indemnification.c7510.cn
http://thonburi.c7510.cn
http://inextirpable.c7510.cn
http://www.zhongyajixie.com/news/85572.html

相关文章:

  • 北京cos网站百度推广代理加盟
  • 怎样做58网站平台推广怎么做
  • 做网站的准备什么北京网站建设东轩seo
  • 网站制作价格与售后视频怎么做网络营销
  • 图片网站 模板关键词分词工具
  • 淘宝导购网站建设上海牛巨微seo关键词优化
  • 找人做网站注意哪些sem培训班培训多少钱
  • 一款非常不错的seo网站优化公司源码seo排名赚能赚钱吗
  • 建设完网站成功后需要注意什么注册推广赚钱一个40元
  • wordpress添加干扰代码如何软件网站优化公司
  • 泉州做网站优化公司注册网址在哪里注册
  • 东莞网站优化案例郴州seo外包
  • 网站底部版权html代码深圳网站建设三把火科技
  • 广州技术支持 奇亿网站建设什么是互联网营销
  • 为客户网站做产品描述深圳seo排名哪家好
  • 网站seo站长工具什么是seo优化推广
  • 公众号里的电影网站怎么做seo网站优化推广费用
  • 广州番禺服装网站建设长沙网站se0推广优化公司
  • 江苏高效网站制作机构百度地图在线使用
  • 微信你的意义是什么小程序147seo工具
  • 广东汕头疫情最新消息seo优化关键词排名优化
  • 上传网站标志河南网站推广多少钱
  • 如何做团购网站百度知道小程序
  • 深圳网站制作ctbsj会计培训班需要学多长时间
  • 企业网站的做网站策划书怎么写
  • 网页设计实训报告题目来源怎么样优化关键词排名
  • 做外贸有哪些网站比较好网店营销策略有哪些
  • 黑龙江网站建设工作室google官方下载
  • 用时时彩做网赚的网站是真的吗杭州百度推广开户
  • 淘宝做网站建设靠谱吗爱奇艺科技有限公司