正文引見的是ICLR2020當(dāng)選輿論《INDUCTIVEMATRIXCOMPLETIONBASEDONGRAPHNEURALNETWORKS》（鑒于圖神經(jīng)搜集的歸結(jié)矩陣補(bǔ)全）。作品來自華盛頓大學(xué)圣路易斯分校碩士、FacebookAI接洽院接洽科學(xué)家張牧涵。
文|張牧涵
編|叢末
載入鏈接：https://openreview.net/pdf?id=ByxxgCEYDS
代碼地方：https://github.com/muhanzhang/IGMC
1摘要
矩陣補(bǔ)全(MatrixCompletion)被普遍運(yùn)用于引薦體例中。保守的矩陣領(lǐng)會(MatrixFactorization)本領(lǐng)為轉(zhuǎn)導(dǎo)推導(dǎo)模子(TransductiveModel)，所進(jìn)修到的embedding不許實(shí)行到演練會合未展示過的用戶(user)和商品(item)。而InductiveMatrixCompletion(IMC)模子運(yùn)用實(shí)質(zhì)消息(content)來補(bǔ)全矩陣，缺陷是對實(shí)質(zhì)的品質(zhì)訴求很高，且在實(shí)質(zhì)品質(zhì)不好的情景下會引導(dǎo)遠(yuǎn)低于矩陣領(lǐng)會的本能。
正文提出一種新的InductiveGraph-basedMatrixCompletion(IGMC)模子，在維持歸結(jié)推導(dǎo)(inductivereasoning)的同聲，實(shí)足不借助任何實(shí)質(zhì)消息。能不借助實(shí)質(zhì)消息完畢歸結(jié)推導(dǎo)的訣竅就在乎子圖構(gòu)造。IGMC為每一個(user,item)pair索取一個包括子圖(enclosingsubgraph)，并用圖神經(jīng)搜集(graphneuralnetwork)演練一個由子圖構(gòu)造映照到用戶對商品味分(rating)的回歸模子。
IGMC在多個數(shù)據(jù)集上博得了最進(jìn)步的本能；它不只不妨實(shí)用于沒在演練會合展示的用戶和商品，更不妨遷徙(transfer)到新數(shù)據(jù)上。咱們運(yùn)用一個在MovieLens上演練的IGMC模子去猜測豆瓣影戲評閱，博得了特殊好的本能，以至好于很多特意在豆瓣數(shù)據(jù)上演練的模子。
2動機(jī)
只有咱們把每個user或item看成一個節(jié)點(diǎn)(node)，每個rating看成一個邊(edge)，則矩陣補(bǔ)全不妨看成是在二分圖(bipartitegraph)上的鏈路猜測(linkprediction)題目。各別于保守鏈路猜測只關(guān)心猜測生存性(linkexistence)，這邊咱們要猜測鏈路的值(linkvalue)，也即是用戶對商品的評閱。
開始，咱們設(shè)置包括子圖(enclosingsubgraph)。對一個(user,item)pair，它們的h階包括子圖是由該user、item，一切該user、item的h-hop內(nèi)連接節(jié)點(diǎn)（包括h-hop），以及一切那些節(jié)點(diǎn)之間的邊構(gòu)成的圖。如許的一個包括子圖內(nèi)生存洪量對于猜測評閱有效的消息。舉例來說，縱然只用一階包括子圖，咱們也不妨贏得比方用戶平衡評閱、商品平衡評閱、商品累計(jì)評介度數(shù)，以及洪量的鑒于路途(path)等的構(gòu)造消息。加入圖一。
一個大略的鑒于路途的構(gòu)造特性如次，假設(shè)咱們想領(lǐng)會用戶u0對于商品v0的評閱，咱們不妨看有幾何和u0品位一致的用戶u1對v0打了高分；而品位一致不妨用能否這個u1和u0已經(jīng)都給某個其它的商品v1打過高分。歸納下來，如許的一個路途特性即為：
咱們不妨經(jīng)過查有幾何如許的路途來預(yù)算u0能否會給v0高分。并且，一切如許的路途都被包括在一階包括子圖(1-hopenclosingsubgraph)中。
咱們斷定一致如許的構(gòu)造特性不計(jì)其數(shù)。所以，與其手動設(shè)置洪量如許的開辟式特性(heuristics)，不如徑直將一階包括子圖輸出給一個圖神經(jīng)搜集，用圖神經(jīng)搜集宏大的圖特性進(jìn)修本領(lǐng)來機(jī)動進(jìn)修更通用的、更有表白本領(lǐng)的特性。咱們運(yùn)用圖神經(jīng)搜集演練一個由包括子圖映照到評閱的回歸模子，試驗(yàn)表明，這種新的本領(lǐng)不妨透徹地猜測評閱。
3方法
索取每個包括子圖后，咱們開始要對個中的節(jié)點(diǎn)舉行標(biāo)明(nodelabeling)。手段是為了辨別子圖中節(jié)點(diǎn)的各別腳色。比方咱們要辨別目的節(jié)點(diǎn)(targetuser/item)和后臺節(jié)點(diǎn)(contextnodes)。目的節(jié)點(diǎn)標(biāo)示出咱們究竟要猜測子圖中哪一對(user,item)之間的評閱。同聲，咱們不妨辨別各別階的街坊節(jié)點(diǎn)，比方一階街坊(1-hopneighbors)和二階街坊(2-hopneighbors)對目的節(jié)點(diǎn)的奉獻(xiàn)水平并不溝通。
咱們沿用了一個大略的做法，對目的用戶(targetuser)，咱們標(biāo)明為0，對目的商品(targetitem)，咱們標(biāo)明為1；對i-hop的后臺用戶咱們標(biāo)明為2i，對i-hop的后臺商品咱們標(biāo)明為2i+1。之后，咱們將那些標(biāo)明變化為one-hotencodingvector，動作每個節(jié)點(diǎn)的初始特性輸出給圖神經(jīng)搜集。
在圖神經(jīng)搜集(GNN)中，咱們沿用relationalgraphconvolutionaloperator(R-GCN)動作卷積層，由于R-GCN不妨從邊典型中進(jìn)修。
個中，代辦節(jié)點(diǎn)在第層的特性向量，和為可進(jìn)修的參數(shù)，代辦rating(普遍從中采用，代辦與節(jié)點(diǎn)以典型邊貫串的街坊節(jié)點(diǎn)。
多層卷積后，咱們將每一層截止貫串獲得每個節(jié)點(diǎn)的最后表白：
結(jié)果，咱們?nèi)∧康挠脩艉湍康纳唐返呢灤谋戆讋幼鬟@個包括子圖的最后表白：
并演練一個兩層神經(jīng)搜集(MLP)從子圖表白回歸到目的評閱(rating)。
4試驗(yàn)截止
咱們僅運(yùn)用一階包括子圖演練IGMC。開始，在Table第22中學(xué)咱們展現(xiàn)了在Flixster,Douban和YahooMusic上的RMSE本能。咱們的IGMC模子博得了state-of-the-art本能，勝過了近期的其余鑒于圖神經(jīng)搜集的模子。
在Table3中咱們展現(xiàn)IGMC在ML-100K和ML-1M上的本能。在ML-100K上，IGMC博得了最佳的本能，和之前超過的一種轉(zhuǎn)導(dǎo)模子GC-MC本能溝通。然而提防，GC-MC運(yùn)用了特殊的實(shí)質(zhì)(content)特性，而IGMC實(shí)足依附子圖構(gòu)造。GC-MC在不運(yùn)用content的情景下RMSE為0.910。在ML-1M上，IGMC仍掉隊(duì)于其余少許轉(zhuǎn)導(dǎo)推導(dǎo)的本領(lǐng)。咱們接下來深刻接洽這一題目。
對于ML-1M數(shù)據(jù)集，咱們辨別將演練矩陣稠密為0.2,0.1,0.05,0.01和0.001倍。Figure2比擬了GC-MC和IGMC在各別稠密水平下的本能比較。咱們創(chuàng)造，固然IGMC在sparsity=1時掉隊(duì)于GC-MC，然而爾后IGMC在各別sparsity下都優(yōu)于GC-MC，并且矩陣越稠密，本能上風(fēng)越鮮明。咱們探求，鑒于子圖特性進(jìn)修的IGMC對稠密矩陣更魯棒；而鑒于矩陣領(lǐng)會等的轉(zhuǎn)導(dǎo)模子須要矩陣較為精致(dense)本領(lǐng)有好的本能。這也表示了IGMC在數(shù)據(jù)稠密的引薦體例中的后勁。
結(jié)果，咱們嘗試IGMC的遷徙學(xué)風(fēng)俗能。咱們徑直將ML-100K上演練的IGMC模子用來猜測Flixster,Douban和YahooMusic。出乎意料，遷徙的IGMC模子博得了極強(qiáng)的本能，以至好于少許特意在這三個數(shù)據(jù)集上演練的模子。這證明，各別引薦工作共享了洪量溝通的子圖形式。
為考證這點(diǎn)，咱們可視化了少許如實(shí)的包括子圖，見Figure3。不妨創(chuàng)造，高評閱和低評閱對應(yīng)的包括子圖真實(shí)有著鮮明的各別；且各別數(shù)據(jù)集之間共享很多一致的子圖形式。
5總結(jié)
正文提出了一種經(jīng)過子圖特性舉行歸結(jié)推導(dǎo)(inductivereasoning)的矩陣補(bǔ)全模子，IGMC。
經(jīng)過正文咱們證領(lǐng)會僅從一階包括子圖進(jìn)修圖特性即可在很多數(shù)據(jù)集上到達(dá)超過的本能，這猶如表示更高階的貫穿聯(lián)系并沒有更加多的特殊價(jià)格。
其余，咱們也證領(lǐng)會不借助于實(shí)質(zhì)(content)的inductivematrixcompletion(IMC)本領(lǐng)是同樣可行的且大大勝過了保守的借助實(shí)質(zhì)的IMC本領(lǐng)。IGMC的很多個性，比方遷徙性、稠密魯棒性等都表示了它的宏大后勁。咱們蓄意IGMC能為矩陣補(bǔ)全和引薦體例范圍帶來新的辦法和開辟。
其余，借助子圖特性的鏈路猜測本領(lǐng)仍舊贏得了宏大的勝利，拜見咱們的另一篇作品“LinkPredictionBasedonGraphNeuralNetworks”：
http://papers.nips.cc/paper/7763-link-prediction-based-on-graph-neural-networks.pdf
ICLR2020系列輿論解讀
0、ICLR2020聚會動靜通訊
疫情重要，ICLR2020將舉行假造聚會，歐洲初次AI國際頂會就此泡湯
疫情感化，ICLR遽然改為線上形式，2020年將變成頂會變化之年嗎？
火爆的圖呆板進(jìn)修，ICLR2020上有哪些接洽趨向？
1、直播
回放|華為諾亞方舟ICLR滿分輿論：鑒于加強(qiáng)進(jìn)修的因果創(chuàng)造
2、Oral
01.Oral|一種鏡像天生式呆板翻譯模子：MGNMT
02.Oral|特殊高斯先驗(yàn)?zāi)康模徍拓?fù)百般性愚笨
03.Oral|引入特殊門控演算，LSTM稍做竄改，本能便堪比Transformer-XL
04.Oral|并行蒙卡樹探求，本能無害，線性加快，勇闖「消消樂」1000關(guān)！
05.Oral|元加強(qiáng)進(jìn)修迎來一盆冷水：不比元Q進(jìn)修好幾何
06.Oral|用群卷積創(chuàng)造深度、等變的膠囊搜集
07.Oral|谷歌推出散布式加強(qiáng)進(jìn)修框架SEED，本能“完爆”IMPALA，可擴(kuò)充數(shù)千臺呆板，還很廉價(jià)
3、Spotlight
01.Spotlight|模子參數(shù)這么多，泛化本領(lǐng)干什么還能這么強(qiáng)？
02.Spotlight|公道與透徹同樣要害！CMU提出進(jìn)修公道表征本領(lǐng)，實(shí)行算法公道
03.Spotlight|拉攏泛化本領(lǐng)太差？用深度進(jìn)修融洽拉攏求解器試試
04.Spotlight|加快NAS，僅用0.1秒實(shí)行探求
05.Spotlight|華盛頓大學(xué)：圖像分門別類中對可實(shí)行報(bào)復(fù)的提防（視頻解讀）
4、Poster
01.Poster|華為諾亞：精巧思維，NAS與「對立」貫串，速度普及11倍
02.Poster|拋開卷積，多頭自提防力不妨表白任何卷積操縱
03.Poster|NAS太難了，探求截止堪比隨機(jī)采集樣品！華為給出6條倡導(dǎo)
04.Poster|清華大學(xué)提NExT框架，用「神經(jīng)元實(shí)行樹」進(jìn)修可證明性
05.Poster|谷歌最新接洽：用“復(fù)合散度”量化模子合成泛化本領(lǐng)
06.Poster|完勝BERT，谷歌最好NLP預(yù)演練模子開源，單卡演練僅需4天
07.Poster|FSNet：運(yùn)用卷積核大綱舉行深度卷積神經(jīng)搜集的收縮
08.Poster|“同步平衡熏陶”框架為無監(jiān)視進(jìn)修供給更魯棒的偽標(biāo)簽
09.Poster|趕快神經(jīng)搜集自符合本領(lǐng)
