개인 공부기록42 [패캠] (Seq2Seq) seq2seq 모델 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 04. Sequence-to-Sequence 01. Machine Translation 소개 02. Sequence to Sequence 03. Encoder 04. Decoder 05. Generator 강의를 듣고 작성하였다. 본 게시물의 모든 출처는 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online.에 있다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) + 추가 설명 중 참고한 자료: https://wikidocs.net/24996 코드 출처: 김기현님 github Machine.. 2022. 2. 6. [패캠] (LM) Neural LM [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 02. Language Modeling 08. RNN을 활용한 LM 09. Perplexity and Cross Entropy 10. Autoregressive and Teacher Forcing 강의를 듣고 작성하였다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) Neural Language Model 👉 Unseen Word Sequence에 대해 잘한다. 즉, generalization을 잘한다. n-gram에서는 단어들이 discrete symbols로 취급이 돼서 잘 안됐던 것들이 딥러닝을 적용하고 나선 .. 2022. 2. 5. [패캠] (LM) 기존의 언어 모델 기존의 언어모델 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 02. Language Modeling 03. n-gram 04. Smoothing and Discount 05. Interpolation and Back-off 06. Perplexity 강의를 듣고 작성하였다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) n-gram 👉좋은 모델이란 Generalization을 잘하는 모델! Training(seen) data를 통해서 test(unseen) data에 대해 훌륭한 prediction을 할 수 있는가? 이전에 배웠던 것처럼 n번째 이전의 단어가 .. 2022. 2. 5. [패캠] (LM) 언어모델 언어모델 [패스트 캠퍼스] 김기현의 딥러닝을 활용한 자연어생성 올인원 패키지 Online. Ch 02. Language Modeling 01. 들어가며 02. 언어모델 수식 강의를 듣고 작성하였다. (혹시 본 포스팅이 저작권 등의 문제가 있다면 알려주세요. 바로 내리도록 하겠습니다. 개인 공부 후 언제든지 다시 찾아볼 용도로 작성하고 있습니다.) 언어모델(Language Model, LM) 문장의 확률을 나타낸 모델이다. 문장 자체의 출현 확률을 예측하거나, 이전 단어들이 주어졌을 때 다음 단어를 예측하기 위한 모델 위의 둘은 수학적으로 같다. 👉 예를 들어, '버스 정류장에서 방금 버스를 OOO.' 빈칸에 들어갈 말을 골라보자. 사랑해 고양이 놓쳤다 사고남 이 예시를 보고 우리는 바로 3번을 선택할 것.. 2022. 2. 5. 이전 1 2 3 4 5 6 7 8 ··· 11 다음