프로젝트
-
[2020하계모각코] 3회차프로젝트/모각코 2020. 7. 14. 21:04
일시 - 2020년 7월 14일 20:00 ~ 23:00시 1차 목표 : ELECTRA Huggingface VS Google 성능 비교 Huggingface에서 제공하는 ELECTRA와 Google에서 제공하는 ELECTRA의 GLUE(CoLA 태스크) 성능 비교 --> 비슷한 성능을 보이는 것으로 확인함 2차 목표 : ELECTRA구현 코드작업 시작하기 ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기 --> 생각보다 구조가 복잡하여 시간이 많이 필요함, 다음주까지 완료를 목표로 진행 추가 작업 : ELECTRA Huggingface 코드로 선학습하기 ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함
-
[2020하계모각코] 1회차프로젝트/모각코 2020. 6. 30. 21:03
일시 - 2020년 6월 30일 20:00 ~ 23:00시 1차 목표 : Python 데코레이터 학습 --> 내용 정리 파이썬은 접근제어자가 없다보니 생각보다 특이한 방법으로 제한을 함 정적메소드도 그런데 정리한 3개만 알면 사용에 큰 문제는 없을 것으로 보임 2차 목표 : Huggingface Transformer 코드 분석 --> 추후 정리 필요 Transformer, BERT의 논문을 pytorch로 재현하기위해 huggingface를 코드를 분석중 연구에 필요한 최소한의 코드만 남기고 모두 제거, 추가적인 기능을 위한 모듈화 작업이 매우 중요할 듯
-
Bert 요약 설명, 조사프로젝트/NLP Core 2019. 4. 30. 18:20
Bert 1. 참고링크 1) Illustrated Bert 2) Bert 톺아보기 2. 설명 -핵심 아이디어 Transformer 모델에서 Encoder부분만 사용하여 Input을 Embedding한다. Base 모델은 12개, Large 모델은 24개의 Encoder로 구성되는데, Encoder가 많을수록 관계를 잘 파악한다. 각 Encoder는 이전의 출력값을 입력값으로 사용하였는데, non-linear activations를 거치지 않아 Explode 또는 Vanishing Gradients 문제를 최소화 하고자 하였다. 대신 병렬처리가 안된다. Bert는 다이나믹 임베딩값을 갖는다.(같은 단어라도 문장에 따라, 위치에 따라 각기 다른 벡터 값을 갖는다.) -Input Embeddings Bert는..
-
Seq2Seq 요약 설명, 조사프로젝트/NLP Core 2019. 4. 28. 00:15
-Seq2Seq 1. 참고 링크 Seq2Seq 2. 설명 -한 시퀀스(ex) 영어 문장)을 다른 시퀀스(ex) 한국어 문장)으로 변환해주는 모델 -보통 번역이나 질의응답(주로 챗봇)에 사용된다. -Encoder에서 input을 고정된 크기의 context vector로 만들고, Decoder는 context vector로 output을 만든다. -문장의 끝은 특정 태그(EOS)로 구분한다. -Encoder와 Decoder가 한 번(동시)에 학습된다. -LSTM의 한계인, 입력이 매우 길면 성능이 떨어진다는 점을 Seq2Seq도 갖고 잇다.
-
Attention Mechanism(어텐션 메커니즘) 요약 설명, 조사프로젝트/NLP Core 2019. 4. 28. 00:11
-Attention Mechanism 1. 참고 링크 Attention https://wikidocs.net/22893 어텐션 메커니즘과 transfomer Attention is all you need NLP with attention Attention? Attention The Illustrated Transformer Bert 2. 설명 -특정 벡터에 집중하여 성능을 높이는 기법으로 아래의 문제점을 해결 -기존 RNN으로 seq2seq을 풀 때 문제점 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생한다. 둘째, RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 존재한다. -핵심 아이디어 I love you -> 나는 너를 사랑해 로 ..
-
Transformer 요약 설명, 조사프로젝트/NLP Core 2019. 4. 18. 17:15
-Transformer 1. 참고 링크 1) seq2seq 2) 어텐션 매커니즘 3) The Illustrated Transformer 2. 설명 -핵심 아이디어 Seq2Seq와 비슷, 인코더, 디코더 안에서 Self Attention을 하여 각 item(word 등)간의 연관성을 반영 Encoder(Multi-Head Self Attention + Feed Forward) -> Decoder(Multi-Head Self Attention + Encoder-Decoder Attention + Feed Forward) -vector => word, Linear + Softmax 최종적으로 나온 결과를 word로 바꾸기 위해, linear, softmax의 과정을 거친다.
-
1-2. DeepLearning(RNN) Result프로젝트/NLP Core 2019. 4. 7. 01:00
Sejong Corpus train : 60,000 test : 20,000 1. LSTM batch size : 1024, 128 word embeddin dim : 50, 25 slot dim : 50, 25 epoch : 30 learning rate : 0.01 precision : 42% recall : 36% F1 : 39% 2. LSTM + CRF batch size : 128 word embeddin dim : 50 slot dim : 50 epoch : 100 learning rate : 0.01 precision : 95% recall : 94% F1 : 95%