• 検索  :
    並び替え:
    ツイート: 172件
    収集条件: #xpaperchallenge
    アクセス: 日:0人 / 週:0人 / 月:1人 / 総合 5人
    作者  :  2z / AIメーカー開発者
    更新日 : 2020年8月5日 05時52分
  • [PR]

  • リンク間違っとる… 無駄な部分カットした動画はこちらです! #xpaperchallenge

  • リンク間違っとる…
    無駄な部分カットした動画はこちらです!
    #xpaperchallenge


    https://www.youtube.com/watch?v=aiaTgj7NEY8

    このツイートをシェアする

  • 一方で、perplexity も単純に見ればよいわけではなく、もし perplexity が異常に良い値 (=ppl は小さい方が良いので小さい値) になった場合、多様性がほとんどないことを表しており、果たしてそれは対話モデルとして良いのだろうか?という問題もあったりします... #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:31:37

    一方で、perplexity も単純に見ればよいわけではなく、もし perplexity が異常に良い値 (=ppl は小さい方が良いので小さい値) になった場合、多様性がほとんどないことを表しており、果たしてそれは対話モデルとして良いのだろうか?という問題もあったりします... #xpaperchallenge

    このツイートをシェアする

  • > 参考ですが、Meenaの論文ではPerplexityによる評価も提案されています。 ありがとうございます!!対話ドメインでは今日の話よりも更に難しく、意味が違っても良いので perplexity のような logits を見るようなものが良いのかもしれません。#xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:31:37

    > 参考ですが、Meenaの論文ではPerplexityによる評価も提案されています。
    ありがとうございます!!対話ドメインでは今日の話よりも更に難しく、意味が違っても良いので perplexity のような logits を見るようなものが良いのかもしれません。#xpaperchallenge

    このツイートをシェアする

  • [PR]

  • > 現状結局BLEUなどの自動評価に落ち着いていると思いますが、なぜ最近提案されたような手法はあまりつかわれないのでしょう? 他でもありましたが、計算時間だったり、そもそもややこしかったりで難しいんでしょうね。簡単に使えて、かつ皆が使っている(にわとりたまご...)が必要。 #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:27:24

    > 現状結局BLEUなどの自動評価に落ち着いていると思いますが、なぜ最近提案されたような手法はあまりつかわれないのでしょう?
    他でもありましたが、計算時間だったり、そもそもややこしかったりで難しいんでしょうね。簡単に使えて、かつ皆が使っている(にわとりたまご...)が必要。 #xpaperchallenge

    このツイートをシェアする

  • > adversarial swapは動詞や形容詞なども置き換えたのでしょうか?名詞以外はどのように類義語で置き換えたのでしょうか? 説明省いちゃったところですが、これは文内の単語の位置を入れ替えてます。 NewYork to Florida <-> Florida to NewYork, といった感じで意味が変わるように。 #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:20:12

    > adversarial swapは動詞や形容詞なども置き換えたのでしょうか?名詞以外はどのように類義語で置き換えたのでしょうか?
    説明省いちゃったところですが、これは文内の単語の位置を入れ替えてます。 NewYork to Florida <-> Florida to NewYork, といった感じで意味が変わるように。 #xpaperchallenge

    このツイートをシェアする

  • > どういうタスクで、BERTのTokenizerをもちいるのがいいのでしょうか。word2vecと比べて、意味が分かりづらい気がします。 一般的にどういう時に使うか、という意味だと、一概にこうとは言えないですね。ここらへんは種類いくつかあるので、調べてみると面白と思います。 #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:17:30

    > どういうタスクで、BERTのTokenizerをもちいるのがいいのでしょうか。word2vecと比べて、意味が分かりづらい気がします。
    一般的にどういう時に使うか、という意味だと、一概にこうとは言えないですね。ここらへんは種類いくつかあるので、調べてみると面白と思います。 #xpaperchallenge

    このツイートをシェアする

  • (続き)reference との差を見るため直接的に影響するわけではないこと (2) 生成文は一度テキストに落とす段階でサンプリングを経ているので、BERT独自の情報量のようなものがあったとしても失われていること、などの理由です(あくまでIMOです)。(続く) #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:15:06

    (続き)reference との差を見るため直接的に影響するわけではないこと (2) 生成文は一度テキストに落とす段階でサンプリングを経ているので、BERT独自の情報量のようなものがあったとしても失われていること、などの理由です(あくまでIMOです)。(続く) #xpaperchallenge

    このツイートをシェアする

  • [PR]

  • > モデルをBERTで推論すれば,BERT-score高くなる気がする.実質リークになってたりしないのでしょうか? 配信中にも取り上げましたが、影響は少ないと(私は)考えています。(1) reference と candidate の類似度を見ているので、candidate が BERT 由来のテキストでも(続く) #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:15:05

    > モデルをBERTで推論すれば,BERT-score高くなる気がする.実質リークになってたりしないのでしょうか?
    配信中にも取り上げましたが、影響は少ないと(私は)考えています。(1) reference と candidate の類似度を見ているので、candidate が BERT 由来のテキストでも(続く) #xpaperchallenge

    このツイートをシェアする

  • > BERT-score,そのスコアはBERTの性質に律速してしまうと思うのですが,どのような副作用あるかご存知ですか? これは仰るとおりです。アイディア自体はベースモデルが BERT でなくてもそのまま使えるので、よりよい pre-trained モデルが出るとそっちを使うのも良いかもです。#xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:09:05

    > BERT-score,そのスコアはBERTの性質に律速してしまうと思うのですが,どのような副作用あるかご存知ですか?
    これは仰るとおりです。アイディア自体はベースモデルが BERT でなくてもそのまま使えるので、よりよい pre-trained モデルが出るとそっちを使うのも良いかもです。#xpaperchallenge

    このツイートをシェアする

  • > BERT scoreは[CLS]同士のsimilarityではなく、単語同士で比較するのはなぜですか? 論文ではこの点には触れられていませんが、文の表現としてはCLSトークンよりも全体を使うほうが良いとされています。なのでおそらく各単語の表現を使う方が表現度高いからでしょう👍 #xpaperchallenge

  • oɹɐʇuǝʞ

    oɹɐʇuǝʞ @cfiken

    2020/05/15 22:06:30

    > BERT scoreは[CLS]同士のsimilarityではなく、単語同士で比較するのはなぜですか?
    論文ではこの点には触れられていませんが、文の表現としてはCLSトークンよりも全体を使うほうが良いとされています。なのでおそらく各単語の表現を使う方が表現度高いからでしょう👍 #xpaperchallenge

    このツイートをシェアする