2018 深層学習系deポイント高い寄せ集め – nibuiroフラグメント β

2018 深層学習系deポイント高い寄せ集め

2018 深層学習系deポイント高い寄せ集め

2018年終わりですね~.
 一年通してDNNによる音声合成開発の成果が多く発表された年ではないですか?音楽系で言えば, UNetによる音源分離でしたり, Transformerによるピアノソロ生成でしたり, 精度上がりましたよね~.
 分野開拓?的にはGraphConvの研究が進んでいます. そして, 応用による化学分野への適用. 世界は加速しイイ感じに加速していますね♪
 あとはー, 情報, チュートリアルが随分と豊富になっていますねー. んでんで, ソフトウェアへの組み込み, エッジコンピューティングへの適用なども進んでいますよねー. TensorFlow Lite for Microcontrollersとか(極端).

 読者層はCVPRとかACLとか完全読破する実力も気力も時間もないけどそれとなく最新研究とか良い資料とか知っておきたいな. という中間層.というか私がそんなモンかなー, なんて.

 それではいってみよー.


NLP

 いやー, 「同時に6紙がSOTAを報告!?!?」 – @_Ryobot とか. 荒れていた?ようですね.にしても, りょぼっとさんの絵は可愛い.
 というかpiqcyさんの記事が高品質.


GAN

まとめのまとめになっていますね…^^;
下記の他にもオモロイのありますんけど.

  • テキストから画像を生成するGANまとめ
  • GoodfellowさんのGANのオススメ論文10選まとめ (2018/02)
  • InfoGAN
    GANの生成べクトルに任意の特徴を表現する隠れ符号を埋め込み生成される画像に任意の特徴が含まれるように制御するというもの.
  • Photo Wake-Up
    たった1枚の写真から3Dモデルを生成する。ヒト型であればある程度崩れていても可。ワシントン大学の研究チームが開発。

  • Twitter

    • BigGANがImageNetの画像生成に成功〜!!チャネル数とバッチサイズを上げるのが重要で,直交正則化をジェネレータに適用し,zのサンプリング範囲を決めて範囲外を切り捨てるTruncation Trickによって多様性と高品質を実現
      Inception Score: 前SOTA 52.52 → 166.3 – [@_Ryobot]

      異なる分野でも正直に効果出そうだなーなんて.

RL

  • A (Long) Peek into Reinforcement Learning
    初心者が強化学習分野に入門しやすいよう書かれた解説記事です.

  • Twitter

    • DQNやA3C等の論文の筆頭著者として知られるMnih氏や,AlphaGoの開発者David Silver氏,分散深層強化学習で革新的な論文を出し続けているHado van Hasselt氏など,正真正銘の超一流研究者による講義動画 – [@learn_learning3]
      https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs

    • Rainbowの亜種であるAPE-Xに, RNNを組み込むことでパフォーマンスを劇的に改善した研究. 任意の状態から学習を行う場合RNNの初期値をどうするかという問題があるが, RNNの状態もとっておく, RNNの状態を作るための初期ステップ(burn-in)を取っておくという対策を行っている
      https://openreview.net/forum?id=r1lyTjAqYX


GraphConv

  • Deep Graph Library (DGL)
    グラフニューラルネットを容易に構築することができるライブラリ.
    GraphConv, TreeLSTMなどの実装が提供されている. バックエンドはPyTorch(+MXNet/Gluon).

Clustering

ちょっと違うですけど, まぁ, まぁ.

  • Deep Clustering
    未学習のCNNに画像突っ込んで下層の出力をkmeansしたら分類できた. という話. おもしろい.

  • UMAP
    tSNEよりムチャ速い上に精度高い. PCA-UMAPなんてのも開発された.


つ か れ た.
マルチモーダル系とかFM系は別記事で書くと思います. よ?