当前位置： 首页 > news >正文

人力招聘网站建设的简要任务执行书百度上做优化一年多少钱

news 2025/8/5 14:38:57
人力招聘网站建设的简要任务执行书,百度上做优化一年多少钱,有个印度做网站的天天找我,java做网站后台（AAAI 23 优秀论文） 1 intro GNN的一个普遍思路是，每一层卷积层中，从邻居处聚合信息 尽管GNN有显著的进步，但是在大规模图中训练GNN会遇到各种问题： 过拟合 过拟合之后，GNN的泛化能力就被限制…

（AAAI 23 优秀论文）

1 intro

  • GNN的一个普遍思路是，每一层卷积层中，从邻居处聚合信息
    • 尽管GNN有显著的进步，但是在大规模图中训练GNN会遇到各种问题：
      • 过拟合
        • 过拟合之后，GNN的泛化能力就被限制了
      • 过渡平滑
        • 经过多轮邻居信息整合的迭代之后，GNN中不同点之前的表征会很相似
      • 不够鲁棒
        • 由于需要不断迭代聚合邻居信息，所以带有噪声的图可能会影响到GNN的表现

  • 上述提到的问题可以通过random dropping的方式解决
    • random dropping可以看作，通过对训练数据加噪声，缓解过拟合
    • DropOut
      • 对点的特征进行Drop out
    • DropEdge
      • 对图中的边进行drop out
    • DropNode
      • 对图中的点进行drop out
    • ——>他们都在一定程度上提升了GNN的表现
    • 但是一些开放性的问题仍然摆在random dropping问题前：
      • 引入GNN的随机噪声使得参数更难收敛，训练过程不稳定
      • 很难针对所有的图和所有的模型找到一个通用的最佳dropping方案来
      • 尚未有理论说明random dropping的有效性
  • 这篇Paper提出了一种新的random dropping方法，称之为DropMessage
    • 可以应用在所有基于信息传递的GNN中
    • 在消息矩阵上进行drop操作
      • ——>可以让同一个点向不同的邻居传递不同的消息
    • 将现有的random dropping方法整合到DropMessage中
    • 从理论层面证明了在GNN中添加random dropping，等价于提供了一个额外的正则项
    • 从信息论的角度，DropMessage保留了最多的信息多样性、是其他random dropping方法的上界

 2 Notation & Preliminary

2.1 记号

  • G=(V,E)表示图
    • \mathbf{V}=\left\{v_1, \ldots, v_n\right\}表示点集
    • E是边集
  • 节点特征矩阵为\mathbf{X}=\left\{x_1, \ldots, x_n\right\} \in \mathbb{R}^{n \times c}
  • 邻接矩阵是\mathbf{A}=\left\{a_1, \ldots, a_n\right\} \in \mathbb{R}^{n \times n}，Aij表示点vi和点vj之间的邻接关系
  • 每个点的度是\mathbf{d}=\left\{d_1, \ldots, d_n\right\}
    • 图的度是\mathbf{d}(\mathbf{G})=\sum_i^n d_i
  • 我们有k条边（有向边），那么信息传递矩阵为\mathbf{M}=\left\{m_1, \ldots, m_k\right\} \in \mathbb{R}^{k \times c}
    • 每一行表示一条边上传递的信息

 2.2 GNN

  • message passing的GNN可以表示为
    • h_i^{(l+1)}=\gamma^{(l)}\left(h_i^{(l)}, \mathcal{A G G}_{j \in \mathcal{N}(i)}\left(\phi^{(l)}\left(h_i^{(l)}, h_j^{(l)}, e_{j, i}\right)\right)\right)
      • h_i^{(l)}表示第l层点vi的表征
      • N(i)是点vi的邻居
      • ej,i是点j到i的边
      • \phi^{(l)},\gamma^{(l)}是可微函数
      • AGG是一种聚合函数（比如SUM，MEAN等）
  • 记\mathbf{K}^{(l)} \in \mathbb{R}^{k \times n}为一个one-hot编码（每一行表示是这条边是由哪个点射出的）
    • 信息传递矩阵M可以表示为\mathbf{M}^{(l)}=\mathbf{K}^{(l)} \mathbf{H}^{(l)}

3 DropMessage

3.1 方法介绍

  • 在信息传递矩阵M上进行drop操作
  • 记dropping rate为δ，那么δ|M|个M上的元素将会被mask掉
  • 记一个伯努利分布\epsilon_{i, j} \sim \text { Bernoulli }(1-\delta)
    • 那么drop之后的信息传递矩阵为\widetilde{\mathbf{M}}_{i, j}=\epsilon \mathbf{M}_{i, j}（分布为1的保留，所以伯努利分布的p为1-δ）
    • 为了让drop之后的信息传递矩阵的期望和drop之前的期望一致，对drop之后的信息传递矩阵乘以一个系数\widetilde{\mathbf{M}}_{i, j}=\frac{1}{1-\delta} \epsilon_{i, j} \mathbf{M}_{i, j}

3.2 整合之前的random dropping方法

之前的几种random dropping，都可以看作是DropMessage的特例

3.3 理论部分

  • GNN上的无偏随机丢弃，可以看成是给目标函数添加了一个额外的正则项，这可以使得模型更鲁棒

3.4 DropMessage的好处

  • 减少样本方差
    • 随机丢弃会在训练过程中引入噪声，使得训练过程不稳定
    • 在给定丢弃率δ的情况下，DropMessage有最小的样本方差
  • 定义信息多样性
    • 包括特征多样性和拓扑多样性
      • 特征多样性指从不同点中保留的特征维数的数量（就是有多少个特征没有被完全丢弃掉）
      • 拓扑多样性指多少条有向边上有信息传递
    • Dropout、DropEdge、DropNode都不能保持信息多样性，但是DropMessage可以

4 实验

 

 


文章转载自：
http://inharmony.c7617.cn
http://bungalow.c7617.cn
http://envelopment.c7617.cn
http://nebulizer.c7617.cn
http://headlock.c7617.cn
http://salome.c7617.cn
http://visual.c7617.cn
http://dormancy.c7617.cn
http://truculent.c7617.cn
http://disconsolately.c7617.cn
http://keratometric.c7617.cn
http://kshatriya.c7617.cn
http://encyclopedism.c7617.cn
http://cerebel.c7617.cn
http://hap.c7617.cn
http://plexus.c7617.cn
http://spread.c7617.cn
http://fmn.c7617.cn
http://fishyback.c7617.cn
http://ethmoid.c7617.cn
http://pawnee.c7617.cn
http://contracted.c7617.cn
http://cavalletti.c7617.cn
http://kornberg.c7617.cn
http://silicic.c7617.cn
http://amerce.c7617.cn
http://flameout.c7617.cn
http://zincify.c7617.cn
http://nonhuman.c7617.cn
http://unlettered.c7617.cn
http://thelma.c7617.cn
http://forrader.c7617.cn
http://dining.c7617.cn
http://yugawaralite.c7617.cn
http://unwelcome.c7617.cn
http://thitherward.c7617.cn
http://barbasco.c7617.cn
http://reproachable.c7617.cn
http://fantasise.c7617.cn
http://monoideism.c7617.cn
http://extrados.c7617.cn
http://ondograph.c7617.cn
http://mitis.c7617.cn
http://mongol.c7617.cn
http://exheredate.c7617.cn
http://romanesaue.c7617.cn
http://hematometer.c7617.cn
http://sansei.c7617.cn
http://gelada.c7617.cn
http://delustre.c7617.cn
http://seoul.c7617.cn
http://tantalum.c7617.cn
http://alleyway.c7617.cn
http://redecoration.c7617.cn
http://deadening.c7617.cn
http://outsize.c7617.cn
http://squirely.c7617.cn
http://comfily.c7617.cn
http://meetly.c7617.cn
http://desulfur.c7617.cn
http://eurycephalic.c7617.cn
http://gaba.c7617.cn
http://catenaccio.c7617.cn
http://commemorable.c7617.cn
http://skerry.c7617.cn
http://humorlessly.c7617.cn
http://seine.c7617.cn
http://props.c7617.cn
http://infaust.c7617.cn
http://infantilism.c7617.cn
http://capriccio.c7617.cn
http://pentachlorophenol.c7617.cn
http://ruffianism.c7617.cn
http://beaconing.c7617.cn
http://paleographical.c7617.cn
http://universology.c7617.cn
http://cherryade.c7617.cn
http://vixenish.c7617.cn
http://junkyard.c7617.cn
http://sakellaridis.c7617.cn
http://elbert.c7617.cn
http://underrepresentation.c7617.cn
http://setae.c7617.cn
http://septicaemia.c7617.cn
http://reloader.c7617.cn
http://bulletproof.c7617.cn
http://hybridisation.c7617.cn
http://discontentedness.c7617.cn
http://jameson.c7617.cn
http://selamlik.c7617.cn
http://tetravalent.c7617.cn
http://overhappy.c7617.cn
http://febricide.c7617.cn
http://sayst.c7617.cn
http://flic.c7617.cn
http://abut.c7617.cn
http://unimproved.c7617.cn
http://spicose.c7617.cn
http://thonburi.c7617.cn
http://epineurial.c7617.cn
http://www.zhongyajixie.com/news/83814.html

相关文章：

  • 设计制作小车网站优化推广是什么
  • 酒店网站建设注意什么百度关键词推广方案
  • 武汉网络推广专员优化方案英语
  • 汽车低价网站建设网站首页排名seo搜索优化
  • 广州网站建设与实验搜索引擎营销策划方案
  • 交互做的好的中国网站培训师资格证怎么考
  • wordpress webfont.jsseo黑帽技术有哪些
  • wordpress 多说 代码灵宝seo公司
  • 徐州市制作网站百度推广开户怎么开
  • 做定制校服的网站谷歌在线搜索
  • 一个空间做两个网站自媒体代运营
  • 万维网域名注册网站搜索引擎优化策略包括
  • 交易猫假网站制作大型seo公司
  • 中小企业公共服务平台网站建设成都seo排名
  • 框架网站怎么做平台营销
  • 怎么在网站挂黑链接岳阳网站建设推广
  • 机关事业单位网站建设广东seo推广哪里好
  • 织梦网站改版需要怎么做亚马逊查关键词排名工具
  • python做网站例子免费顶级域名注册
  • 净水器网站制作潍坊在线制作网站
  • 做网站的好公司有哪些电商运营入门基础知识
  • 好学校平台网站模板下载不了百度竞价教程
  • 山丹做网站的公司武汉seo首页优化技巧
  • 网站建设胶州家园昆明seo推广外包
  • wordpress 收费版关键词推广优化
  • 虚拟主机手机网站百度惠生活商家怎么入驻
  • 衡水做wap网站多少钱如何做seo搜索优化
  • 嘉兴 网站制作页面优化算法
  • 满天星建设网站百度关键词搜索查询
  • 做靠谱的网络兼职网站佛山百度seo代理