[패캠] 자연어 생성이란

자연어 생성이란

[패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online.

Ch 01. Orientation
     04. 자연어 생성이란

강의를 듣고 작성하였다.
(혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다.
개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) 

 

 

우리의 목적

• 컴퓨터가 인간이 만들어놓은 대량의 문서를 통해 정보를 얻고 (NLU) *U: understanding
• 얻어낸 정보를 사람이 이해할 수 있게 사람의 언어로 표현하는 것 (NLG)
  즉, 컴퓨터의 언어, 컴퓨터가 가지고 있는 정보를 사람이 이해할 수 있게 표현하는 과정: Natural Language Generation

NLP는 seq2seq 모델이 나오기 전까지 다른 분야에 비해 딥러닝 적용이 늦은 분야이다.

seq2seq가 나오기 전까지는 텍스트를 숫자로 바꾸는 과정(text to numeric)을 학습했었다. (ex, word embedding, text classification)

어텐션 모델이 탑재된 seq2seq가 나오고 난 후 부터는 numeric to text가 가능해졌다.

 

 

지금은 Attention의 시대

• Transformer의 등장으로 인해 연구는 더욱 가속화되었다.
  • PLM(Pretrained Language Model)의 유행
• 자연어 생성 수업은 PLM을 제대로 다루기 위한 징검다리!
  (열심히, 제대로, 빨리 배워서 얼른 다음 과정으로 넘어가고 싶다!!)

앞으로 듣게될 김기현의 자연어 생성 과정은 다음과 같이 구성되어있다고 한다.

• NMT를 통해 자연어 생성의 근본부터 단단히 다질 수 있도록 구성
• Sequence-to-Sequence w/ Attention 뿐만 아니라,
• Transformer도 나노 단위로 디테일하게 분해하여 이해/구현할 수 있도록 구성(얼른 듣고싶다!!기대..!)