解説 - Unified Language Model Pre-training forNatural Language Understanding and Generation

元論文 https://papers.nips.cc/paper/9464-unified-language-model-pre-training-for-natural-language-understanding-and-generation.pdf

Natural Language Understanding (NLU) と Natural Language Generation (NLG) のための事前学習法として UNIfied pre-trained Language Model (UNILM) を提案.

  • Natural Langauge Understanding

    • Extractive QA (SQuAD), GLUE など
    • Left-to-right LM や Bidirectional LM などの事前学習モデルからの fine-tuning により解く

  • Natural Langauge Generation

    • Generative QA (CoQA), Abstractive Summarization (Gigaword) など
    • Sequence-to-sequence LM により解く

これら Left-to-right LM, Bidirectional LM, Sequence-to-sequence LM を統合 (unify) した事前学習. パラメータは共有し Self-attention mask によって attend するコンテキストを制御.

www.slideshare.net