개발 (58) 썸네일형 리스트형 NLP Load : 맨땅에 헤딩하는 NLP 공부일지 (16) Ⅰ. Sequence to Sequence, seq2seq 시퀀스 투 시퀀스는 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 다양한 분야에서 사용되는 모델이다. 예를 들어 챗봇(Chatbot)과 기계번역(Machine Translation)이 그러한 대표적인 예씨로서 입력 시퀀스와 출력 시퀀스를 각각 질문과 대답으로 구성하면 챗봇으로, 입출력 시퀀스를 각각 입력문장과 번역문장으로 만들면 번역기로 사용할 수 있다. 그 외에도 내용요약(Text Summeraization), STT(Sppech to Text) 등에서 쓰일 수 있다. 1. 모델의 개요(Overview) seq2seq는 번역기에서 대표적으로 사용되는 모델이다. 간단히 표현하면 위와 같은 원리로 동작하는데 내부 모습은 아래와 같다. seq2.. NLP Load : 맨땅에 헤딩하는 NLP 공부일지 (15) Ⅰ. Language Model 언어모델(LM)은 언어라는 현상을 모델링하고자 단어 시퀀스(문장)에 확률을 할당(assign)하는 모델이다. 언어모델을 만드는 방법은 크게 통계를 이용한 방법과 인공 신경망을 이용한 방법으로 구분할 수 있다. 1. 언어 모델 (Language Model) 언어 모델은 단어 시퀀스에 확률을 할당(assign)하는 일을 하는 모델이다. 풀어서 얘기하면 가장 자연스러운 단어 시퀀스를 찾아내는 모델인 것이다. 단어 시퀀스에 확률을 할당하게 하기 위해서 가장 보편적으로 사용되는 방법은 언어모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 하는 것이다. 다른 유형의 언어모델로는 주어진 양쪽의 단어들로부터 가운데 비어있는 단어를 예측하는 언어 모델이 있다. 이는 문장의 가운데에.. NLP Load : 맨땅에 헤딩하는 NLP 공부일지 (14) Ⅰ. 게이트 순환 유닛(Gated Recurrent Unit) GRU(Gated Recurrent Unit)은 2014년 뉴욕대학교 조경현 교수님이 집필한 논문에서 제안되었다. LSTM의 장기 의존성 문제에 대한 해결책을 유지하면서 은닉상태를 업데이트하는 계산을 줄였다. 즉, GRU는 성능은 LSTM과 유사하면서 복잡했던 LSTM의 구조를 간단화 시킨것이다. 1. GRU(Gated Recurrent Unit) LSTM에서는 출력, 입력, 삭제 게이트라는 3개의 게이트가 존재했다. 반면, GRU에서는 업데이트 게이트과 리셋 게이트 3가지 게이트만 존재한다. GRU는 LSTM보다 학습 속도가 빠르다고 알려져있지만 여러 평가에서 GRU는 LSTM과 비슷한 성능을 보인다. $$ r_t = \sigma(W_{xr.. NLP Load : 맨땅에 헤딩하는 NLP 공부일지 (13) Ⅰ. 장단기 메모리(Long Short-Term Memory) ※ RNN의 다른 이름은 가장 단순한 형태의 RNN이라고 하여 ‘Vanilla RNN’이라고 부른다. 1. 바닐라 RNN의 한계 앞 챕터에서 바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존한다는 것을 언급한 바 있습니다. 바닐라 RNN은 비교적 짧은 시퀀스(sequence)에 대해서만 효과를 보이는 단점이 있다. 바닐라 RNN의 시점(time step)이 길어질 수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생한다. 위의 그림은 첫 번째 입력값인 $x_1$의 정보량을 짙은 남색으로 표현했을 때, 색이 점차 얕아지는것으로 시점이 지날수록 $x_1$의 정보량이 손실되어가는 과정을 표현한 것이다. 뒤로 갈수록 $x_1$의 정보량은 손.. 표본조사 이전 내용을 가볍게 정리해보자. 통계학은 자료를 분석해서 자료를 정보화시키는 방법론이고, 아래 3단계를 거친다. 자료 수집 : 표본추출 (= sampling) 자료 요약 정리 : 기술통계학 (=Descriptive Statics) 결론 유추 및 추리 : 추측통계학 (=Inferential Statics) 이번 포스팅에서는 첫 번째 단계인 표본추출(=Sampling)에 대해 자세히 알아보자. 1. 자료 수집 통계는 어떤집단의 특성을 수량화하여 나타낸다고 볼 수 있다. 즉, 특정 지단에 속하는 각 개체 단위들에 대한 정보를 먼저 수집해야하는 것이다. 이를 하기위한 방법으로 아래와 같은 것들이 존재한다. 수집방법 실험 (Experience) 조사 (Survey) 출판 자료(Published Data) 조사방법.. 이전 1 2 3 4 5 6 ··· 12 다음
