• Twitterで話題の技術論文ランキング

    ツイッターで話題・人気の技術論文をランキング形式で集めたまとめです。

  •   

  • 並び替え:
    件数  : 239件
    更新日 : 2019年9月19日 11時22分
  • [PR]

  • テレンスタオ氏が先日アーカイブに投稿した論文。また数学の歴史が一歩前に進みました。

  • 1196 RT

    Yohsuke Watanabe

    Yohsuke Watanabe @YohsukeW

    2019/09/10 09:44:20

    テレンスタオ氏が先日アーカイブに投稿した論文。また数学の歴史が一歩前に進みました。


    https://arxiv.org/abs/1909.03562

    このツイートをシェアする

  • いよいよ要約生成の論文の要約が提案手法で書かれる時代が来た。重要文をPointerNetworkで抜き出した後、導入、重要文、要約、本文の順に並べた文書生成を自己注意機構ベース言語モデルで学習。推論時は導入、重要文で条件付して要約を生成する。

  • 2183 RT

    Daisuke Okanohara

    Daisuke Okanohara @hillbig

    2019/09/11 09:45:25

    いよいよ要約生成の論文の要約が提案手法で書かれる時代が来た。重要文をPointerNetworkで抜き出した後、導入、重要文、要約、本文の順に並べた文書生成を自己注意機構ベース言語モデルで学習。推論時は導入、重要文で条件付して要約を生成する。

    https://arxiv.org/abs/1909.03186

    このツイートをシェアする

  • 3層の総結合層とReLUからなるNNは任意のN個の訓練データを幅が2N^{1/2}さえあれば全て丸暗記できる表現力を持ち、100万個、1000クラスからなるImageNetも4層、幅が2k~4kあれば丸暗記できる。これらの解は初期値が近ければSGDを使って高速に見つけることができる

  • 395 RT

    Daisuke Okanohara

    Daisuke Okanohara @hillbig

    2019/09/11 07:59:54

    3層の総結合層とReLUからなるNNは任意のN個の訓練データを幅が2N^{1/2}さえあれば全て丸暗記できる表現力を持ち、100万個、1000クラスからなるImageNetも4層、幅が2k~4kあれば丸暗記できる。これらの解は初期値が近ければSGDを使って高速に見つけることができる

    https://arxiv.org/abs/1810.07770

    このツイートをシェアする

  • [PR]

  • コンピューターサイエンスで30年間未解決だったSensitivity予想が、数学者のHao Huangさんによって解決されたと2ヶ月程前に聞きました。先日その論文が数学の最高誌のAnnuals of Mathで採択されたそうです。🎉 🎉🎉 実はHuangさん、私の大学の時の先輩です‼️😊

  • 459 RT

    Yohsuke Watanabe

    Yohsuke Watanabe @YohsukeW

    2019/09/18 09:33:14

    コンピューターサイエンスで30年間未解決だったSensitivity予想が、数学者のHao Huangさんによって解決されたと2ヶ月程前に聞きました。先日その論文が数学の最高誌のAnnuals of Mathで採択されたそうです。🎉 🎉🎉

    実はHuangさん、私の大学の時の先輩です‼️😊

    https://arxiv.org/abs/1907.00847

    このツイートをシェアする

  • イグ・ノーベル生物学賞: 死んだゴキブリのマグネットは生きてるゴキブリのマグネットと違う性質を持つ(訳していて意味が分からない)→

  • 556 RT

    小谷太郎

    小谷太郎 @tarokotani

    2019/09/13 07:27:37

    イグ・ノーベル生物学賞:
    死んだゴキブリのマグネットは生きてるゴキブリのマグネットと違う性質を持つ(訳していて意味が分からない)→


    https://arxiv.org/abs/1702.00538

    このツイートをシェアする

  • arXivに投稿しました! "内部アーキテクチャ"に基づく分析とチャンネル数自動決定により、物体検出CNNの事前学習効果を明らかにし、通常のResNetより効率的なbackboneを見つける。 ImageNet事前学習に効果が無いのではなく、現状のアーキテクチャや知識転移方法に問題がある。

  • 634 RT

    Yosuke Shinya

    Yosuke Shinya @shinya7y

    2019/09/10 09:25:08

    arXivに投稿しました!
    "内部アーキテクチャ"に基づく分析とチャンネル数自動決定により、物体検出CNNの事前学習効果を明らかにし、通常のResNetより効率的なbackboneを見つける。
    ImageNet事前学習に効果が無いのではなく、現状のアーキテクチャや知識転移方法に問題がある。

    https://arxiv.org/abs/1909.04021

    arXivに投稿しました!
    arXivに投稿しました!

    このツイートをシェアする

  • Universal TransformerやTrellis Networkで同じ層を重ねた計算は、系列全体を入力とする非線形システムの均衡状態を得る変換とみなせ、層を明示的に展開せず準ニュートン法で効率的に順/勾配を計算可能。同じ性能でメモリ使用量を1/10近くに抑えられる

  • 732 RT

    Daisuke Okanohara

    Daisuke Okanohara @hillbig

    2019/09/10 07:51:37

    Universal TransformerやTrellis Networkで同じ層を重ねた計算は、系列全体を入力とする非線形システムの均衡状態を得る変換とみなせ、層を明示的に展開せず準ニュートン法で効率的に順/勾配を計算可能。同じ性能でメモリ使用量を1/10近くに抑えられる

    https://arxiv.org/abs/1909.01377

    このツイートをシェアする

  • [PR]

  • 80年間未解決だったDuffin-Schaeffer予想が解かれました。Koukoulopoulos氏とMaynard氏による証明です。

  • 832 RT

    Yohsuke Watanabe

    Yohsuke Watanabe @YohsukeW

    2019/09/17 12:43:12

    80年間未解決だったDuffin-Schaeffer予想が解かれました。Koukoulopoulos氏とMaynard氏による証明です。


    https://arxiv.org/abs/1907.04593

    このツイートをシェアする

  • BERTの中に関係知識が蓄積されていることを実験で確認した研究。Fact関係(a is b)は高い精度で推論できた一方、1:多・多:多の推論精度は低かったという結果。転移学習なしBERT vs 教師あり+関係推定特化モデルでprecision@10が57.1% vs 63.5%となかなかの精度。

  • 927 RT

    piqcy

    piqcy @icoxfog417

    2019/09/16 09:24:53

    BERTの中に関係知識が蓄積されていることを実験で確認した研究。Fact関係(a is b)は高い精度で推論できた一方、1:多・多:多の推論精度は低かったという結果。転移学習なしBERT vs 教師あり+関係推定特化モデルでprecision@10が57.1% vs 63.5%となかなかの精度。



    https://arxiv.org/abs/1909.01066

    このツイートをシェアする

  • 陰関数微分を学習に使うアイディアは、混合分布を含む勾配計算で2016年に提案され それが2018年に自動微分とつながり他の確率分布にも一般化され 今年に入ってメタ学習、均衡状態に対する微分(ODE, Equilibrium Model)など一気に拡大している模様

  • 1025 RT

    Daisuke Okanohara

    Daisuke Okanohara @hillbig

    2019/09/14 10:50:12

    陰関数微分を学習に使うアイディアは、混合分布を含む勾配計算で2016年に提案され それが2018年に自動微分とつながり他の確率分布にも一般化され 今年に入ってメタ学習、均衡状態に対する微分(ODE, Equilibrium Model)など一気に拡大している模様

    https://arxiv.org/abs/1607.05690
    https://arxiv.org/abs/1805.08498

    このツイートをシェアする