🫧 Intro

• BART는 Facebook에서 발표한 모델로, 기존 트랜스포머 구조에 새로운 사전 학습 Task를 제시함

  → 텍스트 생성과 이해 부문에서 SOTA를 달성하며 주목받음

• Bidirectional: BERT에서 양방향으로 언어 시퀀스의 토큰들을 어텐션 메커니즘을 통해 모두 반영하여

                          문자를 인코딩하는 방식
  

• Auto-Regressive: GPT에서 왼쪽인 이때까지의 입력을 바탕으로 새로운 출력을 만들어내는 생성 모델

• BART는 BERT와 GPT를 하나로 합친 형태로, 기존 Sequence to Sequence 트랜스포머 모델을

  새로운 Pre-training objective를 통해 학습하여 하나로 합친 모델

• seq2seq 모델의 프리트레인을 위한 denoising auto-encoder

• 기초적인 Transformer 기반 neural machine translation 구조

• 임의의 noising function으로 손상된 텍스트를 복구하도록 학습

  • 본 연구에서는 다양한 noising 기법을 평가
  • 이때 원본 문장을 랜덤하게 섞고, text Infilling 기법을 사용할 때 가장 좋은 성능을 보임

• BART는 문장 생성과 문맥 이해 task에 특히 효과적

• RoBERTa와 유사한 학습 환경에서 QA, 요약, abstractive dialogue Task들에서도 SOTA를 보임

🔎 Prerequisites

• denoising auto-encoder

  • NLP 작업에서 가장 성공적인 성과를 보여준 self-supervised 접근 방식인 마스크 된 언어 모델(MLM)의 변형 → 단어의 임의 하위 집합이 마스크된 텍스트를 재구성하도록 학습된 구조 (ex. BERT)

  • 그러나 이러한 방법은 일반적으로 특정 유형의 end task에 초점을 맞추고 적용 가능성이 떨어진다는 한계가 있음 (ex. BERT → NLU, GPT → NLG 등)

    → bidirectional 및 auto-regressive transformer를 결합한 모델을 사전 학습하는 BART ****제시

  • NLU vs. NLG

    • NLU: 단어, 구, 문장과 같이 언어구조에 대한 이해를 다루는데 더 초점을 맞추며, 구문뿐만 아니라 의미에도 중점을 둠

      → NLU를 위해서는 구문 및 의미와 관련된 다양한 타입의 모호성 해결이 중요

      → 인간의 이해를 쉽게 만들어주기 위한 기계의 해석이 들어감

    • NLG: 듣고 이해만 하는 과정에서 더 나아가 축적되어 있는 단어들을 조합해서 직접 사용자가 이해하기 쉬운 문장으로 출력하는 것