2018 深層学習系deポイント高い寄せ集め
2018年終わりですね~.
一年通してDNNによる音声合成開発の成果が多く発表された年ではないですか?音楽系で言えば, UNetによる音源分離でしたり, Transformerによるピアノソロ生成でしたり, 精度上がりましたよね~.
分野開拓?的にはGraphConvの研究が進んでいます. そして, 応用による化学分野への適用. 世界は加速しイイ感じに加速していますね♪
あとはー, 情報, チュートリアルが随分と豊富になっていますねー. んでんで, ソフトウェアへの組み込み, エッジコンピューティングへの適用なども進んでいますよねー. TensorFlow Lite for Microcontrollersとか(極端).
読者層はCVPRとかACLとか完全読破する実力も気力も時間もないけどそれとなく最新研究とか良い資料とか知っておきたいな. という中間層.というか私がそんなモンかなー, なんて.
それではいってみよー.
NLP
いやー, 「同時に6紙がSOTAを報告!?!?」 – @_Ryobot とか. 荒れていた?ようですね.にしても, りょぼっとさんの絵は可愛い.
というかpiqcyさんの記事が高品質.
- AllenNLPのチュートリアル
PyTorchで構築されたオープンソースのNLP研究ライブラリであるAllenNLPのチュートリアルWebページがとても分かりやすいことで話題に?なりました. - “Approaching (Almost) Any NLP Problem on Kaggle”
題目の通りですね(笑). -
[DL輪読会]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
なんかBERTてよく見るなー, と思いましたのでチョイス. -
Twitter
- 20種類のNLPタスクに対する最適なデータセットとSOTA手法を紹介してる.
伝統的な構文解析や品詞タグ付け,流行りの読解や自然言語推論などを網羅しててかなり役立つ – @_Ryobot
sebastianruder/NLP-progress -
系列モデル問題で, 時間方向と層方向で同じ重みを使い, 各層で入力を注入したCNNであるTrellis Networkは固定長履歴のRNNと同等以上の表現力があり, CNNとRNNの両方の技術を使える. 位置毎に異なるチャンネルグループで畳み込みをすることでLSTMも使える. 言語モデルのSOTA – @hillbig
https://arxiv.org/abs/1810.06682
- 20種類のNLPタスクに対する最適なデータセットとSOTA手法を紹介してる.
GAN
まとめのまとめになっていますね…^^;
下記の他にもオモロイのありますんけど.
- テキストから画像を生成するGANまとめ
- GoodfellowさんのGANのオススメ論文10選まとめ (2018/02)
- InfoGAN
GANの生成べクトルに任意の特徴を表現する隠れ符号を埋め込み生成される画像に任意の特徴が含まれるように制御するというもの. - Photo Wake-Up
たった1枚の写真から3Dモデルを生成する。ヒト型であればある程度崩れていても可。ワシントン大学の研究チームが開発。 -
Twitter
- BigGANがImageNetの画像生成に成功〜!!チャネル数とバッチサイズを上げるのが重要で,直交正則化をジェネレータに適用し,zのサンプリング範囲を決めて範囲外を切り捨てるTruncation Trickによって多様性と高品質を実現
Inception Score: 前SOTA 52.52 → 166.3 – [@_Ryobot]
異なる分野でも正直に効果出そうだなーなんて.
- BigGANがImageNetの画像生成に成功〜!!チャネル数とバッチサイズを上げるのが重要で,直交正則化をジェネレータに適用し,zのサンプリング範囲を決めて範囲外を切り捨てるTruncation Trickによって多様性と高品質を実現
RL
- A (Long) Peek into Reinforcement Learning
初心者が強化学習分野に入門しやすいよう書かれた解説記事です. -
Twitter
- DQNやA3C等の論文の筆頭著者として知られるMnih氏や,AlphaGoの開発者David Silver氏,分散深層強化学習で革新的な論文を出し続けているHado van Hasselt氏など,正真正銘の超一流研究者による講義動画 – [@learn_learning3]
https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs -
Rainbowの亜種であるAPE-Xに, RNNを組み込むことでパフォーマンスを劇的に改善した研究. 任意の状態から学習を行う場合RNNの初期値をどうするかという問題があるが, RNNの状態もとっておく, RNNの状態を作るための初期ステップ(burn-in)を取っておくという対策を行っている
https://openreview.net/forum?id=r1lyTjAqYX
- DQNやA3C等の論文の筆頭著者として知られるMnih氏や,AlphaGoの開発者David Silver氏,分散深層強化学習で革新的な論文を出し続けているHado van Hasselt氏など,正真正銘の超一流研究者による講義動画 – [@learn_learning3]
GraphConv
- Deep Graph Library (DGL)
グラフニューラルネットを容易に構築することができるライブラリ.
GraphConv, TreeLSTMなどの実装が提供されている. バックエンドはPyTorch(+MXNet/Gluon).
Clustering
ちょっと違うですけど, まぁ, まぁ.
- Deep Clustering
未学習のCNNに画像突っ込んで下層の出力をkmeansしたら分類できた. という話. おもしろい. -
UMAP
tSNEよりムチャ速い上に精度高い. PCA-UMAPなんてのも開発された.
つ か れ た.
マルチモーダル系とかFM系は別記事で書くと思います. よ?