본문 바로가기

Deep Learning/NLP8

[패캠] (Seq2Seq) Input Feeding & Teacher Forcing [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 04. Sequence-to-Sequence 08. Input Feeding 09. Teacher Forcing 강의를 듣고 작성하였다. 본 게시물의 모든 출처는 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online.에 있다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) + 추가 설명 중 참고한 자료: https://wikidocs.net/24996 → 정말 쉽게 잘 설명되어 있는 자료! Input Feeding 원래 Seq2Seq+Attention (Input feeding 없이) 이전.. 2022. 2. 15.
[패캠] (Seq2Seq) Attention [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 04. Sequence-to-Sequence 06. Attention 07. Masking 강의를 듣고 작성하였다. 본 게시물의 모든 출처는 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online.에 있다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) + 추가 설명 중 참고한 자료: https://wikidocs.net/24996 → 정말 쉽게 잘 설명되어 있는 자료! 코드 출처: 김기현님 github 기존에 배웠던 seq2seq 모델은 인코더에서 입력 시퀀스를 context vector라.. 2022. 2. 14.
[패캠] (Seq2Seq) seq2seq 모델 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 04. Sequence-to-Sequence 01. Machine Translation 소개 02. Sequence to Sequence 03. Encoder 04. Decoder 05. Generator 강의를 듣고 작성하였다. 본 게시물의 모든 출처는 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online.에 있다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) + 추가 설명 중 참고한 자료: https://wikidocs.net/24996 코드 출처: 김기현님 github Machine.. 2022. 2. 6.
[패캠] (LM) Neural LM [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 02. Language Modeling 08. RNN을 활용한 LM 09. Perplexity and Cross Entropy 10. Autoregressive and Teacher Forcing 강의를 듣고 작성하였다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) Neural Language Model 👉 Unseen Word Sequence에 대해 잘한다. 즉, generalization을 잘한다. n-gram에서는 단어들이 discrete symbols로 취급이 돼서 잘 안됐던 것들이 딥러닝을 적용하고 나선 .. 2022. 2. 5.