首页 小编推荐正文

参加:路、王淑婷、李泽南

是最近 AI 范畴最抢手的方向之一,许多图神经网络结构如 和 现已上线。但看起来这些东西还有许多能够改善的空间。近来,来自德国多特蒙德工业大学的研讨者们提出了 PyTorch Geometric,该项目一经上线便在 GitHub 上取得 1500 多个 star,并得到了 Yann LeCun 的点赞。现在,创立新的 GNN 层愈加简略了。

项目链接:https://github.com/爸爸女儿rusty1s/pytorch_geometric

LeCun点评:一个快速且美丽的几许深度学习库(适用于图神经网络与其他不规矩结构)

PyTorch Geometric 主要是现有模型快速从头完成的调集(具有定制化的稀少操作),假如你想测验一下特定的已发布模型,它会是一个很不错的挑选;假如想完成更为杂乱的结构,其自定义稀少/涣散操作也十分便利。

PyTorch Geometric是根据PyTorch构建的深度学习库,用于处理不规矩结构化输入数据(如图、点云、流形)。除了一般的图形数据结构和处理办法外,它还包含从联系学习到3D数据处理等范畴中最新发布的多种办法。经过运用稀少 GPU 加快、供给专用的 CUDA 内核以及为不同巨细的输入样本引进高效的小批量处理,PyTorch Geometric 完成了很高的数据吞吐量。

PyTorch Ge步氏神族ometric(PyG)库包含易用的小批量加载器(mini-batch loader魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网)、多GPU支撑、很多常见基准数据集和有用的改换,适用于恣意图画、三维网格(3D mesh)和点云。

其作者Matthias Fey 和 Jan E. Lenssen 来自德国多特蒙德工业大学,他们经过试验证明了该库已完成办法在图分类、点云分类、半监督节点分类等使命上的功能。此外,PyG 速度奇快,大大超越其它深度图神经网络库,如 DGL。

简略易用

PyTorch Ge魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网ometric大大简化了完成图卷积网络的进程。比方,它能够用以下几行代码完成一个层(如edg邱云光e convolution layer):

速度快李苦禅拿手画什么

PyTorch Geometric 速度十分快。下图展现了这一东西和其它图神经网络库的练习速度比照状况:

最高比 DGL 快 14 倍!

已完成办法多

PyTorch Geometric 现在已完成以下办法,一切完成办法均支撑 CPU 和 GPU 核算:

PyG 概览

图神经网络(GNN)最近成为在图、点云和流形上进行表征学习的强壮办法。与规矩域中常用的卷积层和池化层概念相似,GNN经过传递、改换和聚合信息来 (层级化地)提取部分嵌入。

可是,完成GNN并不简略,由于它需要在不同巨细的高度稀少与不规矩数据上完成较高的GPU吞吐量。PyTorch Geometric (PyG刘银茹) 是根据Pytorch构建的几许深度学习扩展库。它能够运用专门的CUDA内核完成高功能。在简略的音讯传递API之后,它将大多数近期提出的卷积层和池化层捆绑成一个一致的结构。一切的完成办法都支撑 CPU 和 GPU 核算,并遵从不变的数据流范式,这种范式能够跟着时刻的推移动态改动图结构。PyG已在MIT许可证下开源,它具有齐备的文高怀义档,且供给了顺便教程和示例。

Py泄欲东西G 用节点特征矩阵 X ∈ ℝ^(NF)魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网 和稀少邻接元组(I,E)来表明图 G 魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网= (X, (I, E)),其间 I ∈ ℕ^(2E) 以坐标(COO)格局编码边索引,E ∈ ℝ^(ED)(可选地)保存D维边特征。一切面向用户的API(如数据加载途径、多GPU支撑、数据增强或模型实例化)都受到了PyTorch的极大启示,以让用户尽可能地了解它们。

邻域聚合(neighborhood aggregation)。将卷积运算泛化至不规矩域一般表明为邻域聚合或音讯传递计划(Gilmer et al., 2017)

其间 ⬚ 表明可微置换不变函数(permutation invariant function熊顿忽然逝世的原因),如求和、均值或最大值,r 和

表明可微函数 ,如MLP。实践中,r 和

的逐元素核算能够经过搜集和散射节点特征、运用播送来完成,如图1所示。虽然该计划处理的是不规矩结构化输入,但它仍然能够经过GPU完成大幅加快。

图 1:GNN 层核算办法。运用根据边索引 I 的搜集和散射办法,然后在节点并行空间(parallel space)和边并行空间之间进行替换。

PyG为用户供给通用的MessagePassing接口,以便对新的研讨主意进行快速洁净的原型制造。此外,简直一切近期提出的邻域聚合函数都适用于此接口,其间包含PyG现已集成的办法。

大局池化。PyG供给多种readout函数(如global add、mean 或 max pooling),然后支撑图等级输出,而非节点等级输出。PyG还供给愈加杂乱的办法,如 set-to-set (Vinyals et al., 2016)、sort pooling (Zhang 小洞洞et al., 2018) 和大局软留意力层 (Li et al., 2016)。

层级池化(Hier阳光藏汉翻译archical Pooling)。为进一步提取层级信息和运用更深层的GNN模型,需要以空间或数据依靠的办法运用多种池化办法。PyG现在供给Graclus、voxel grid pooling、迭代最远点采样算法(iterative farthest point sampling佛山禅城气候 algorithm)的完成示例,魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网以及可微池化机制(如DiffPool和石河子邱伟top_k pooling)。

小批量处理。PyG 可主动创立单个(稀少)分块对角邻接矩阵(block-diagonal 有点色adjacency matrix),并在节点维度中将特征矩阵级联起来,然后支撑对多个(不同巨细)图实例的小批量处理。正因如此,PyG可在不经修正的状况下运用邻域聚合办法,由于不相连的图之间不会呈现信息沟通。此外,主动生成的 assignment 向量可保证节点级信息不会跨图聚合,比方当履行大局聚合运算时。

处理数据集。PyG供给一致的数据格局和易用的接口,便利运用者创立和处理数据集,大型数据骆雁集和练习期间可保存在内存中的数据集皆可适用。要想创立新数据集,用户只需读取/下载数据,并转换为PyG数据格局即可。此外,用户能够运用改换(transform,即拜访独自的多个图并对其进行改换)办法来修正数据集,比方数据增强、运用组成结构化图特点来增强节点特征等,然后根据点云主动生成图,或许从网格中主动采样点云。

PyG现在支撑很多常见基准数据集,它猎杀失望山们均可在第一次初始化时主动下载和处理。详细来讲婚债难偿,PyG供给60多个 graph kernel 基准数据集 (Kersting et al., 2016),如 PROTEINS 或 IMDB-BINARY、引证网络数据集 Cora、CiteSeer、PubMed 和 Cora-Full (Sen et al., 2008; Bojchevski & Gnnemann, 2018)、Coauthor CS/Physics 和 Amazon Computers/Photo 数据集 (Shchur et al. (2018)、分子数据集 QM7b (Montavon et al., 2013) 和 QM9 (Ramakrishnan et al., 2014),以及Hamilton 等人 (2017) 创立的蛋白质相互作用图。此外,PyG还供给嵌入式数据集,如MNIST超像素 (Monti et al., 2017)、FAUST (Bogo et al., 2014)、ModelNet10/40 (Wu et al., 2015)、ShapeNet (Chang et al., 2015)、COMA (Ranjan et al., 2018),以及 PCPNet 数据集 (Guerrero et al., 2018)。

实证评价

王宝强的妻子

半监督节点分类

表 1:多个模型运用固定切割和随机切割的半监督节点分类成果。

图分类

表 2:图分类。

点云分类

表3:点无锡十五天气候预报云分类。

看起来,图神经网络结构的竞赛正益发剧烈起来,PyTorch Geometric 也引起了魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网 DGL 创作者的留意,来自 AWS 上海 AI 研讨院的 Ye Zihao 对此评论道:「现在 DGL 的速度比 PyG 慢,这是由于它 PyTorch spmm 的后端速度较慢(比较于 PyG 中的搜集+散射)。在 DGL 的下一个版别(0.2)中,我妄议朝廷可是要杀头的们将陈述新的模型练习速度数据,并供给基准测验脚本。咱们还将供给定制内核支撑以加快 GAT,敬请期待!」

论文链接:https://arxiv.or魔方,比DGL快14倍:PyTorch图神经网络库PyG上线了,澳网g/abs/1903.02428

菜鸟建议「2019 菜鸟全球科技挑战赛—智能体积丈量」,近百万元奖金等你来拿,点击阅览原文参加报名。

菜鸟 PC 科技
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。