꼬맹이 놀이터 꼬맹이 놀이터

일시 - 2020년 7월 21일 20:00 ~ 23:00시 1차 목표 : ELECTRA 선학습을 위한 데이터 전처리 작업 진행하기 ELECTRA를 PyTorch로 구현한 뒤 학습하기 위한 데이터 수집 및 전처리 과정 --> 데이터 전체 규모가 약 140Gb로 추정, 생각보다 수집에 시간이 걸림 2차 목표 : ELECTRA구현 코드작업 시작하기, ELECTRA Huggingface 코드로 선학습하기 ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기 ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함 --> 지속적인 작업 진행 예정

일시 - 2020년 7월 14일 20:00 ~ 23:00시 1차 목표 : ELECTRA Huggingface VS Google 성능 비교 Huggingface에서 제공하는 ELECTRA와 Google에서 제공하는 ELECTRA의 GLUE(CoLA 태스크) 성능 비교 --> 비슷한 성능을 보이는 것으로 확인함 2차 목표 : ELECTRA구현 코드작업 시작하기 ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기 --> 생각보다 구조가 복잡하여 시간이 많이 필요함, 다음주까지 완료를 목표로 진행 추가 작업 : ELECTRA Huggingface 코드로 선학습하기 ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함

lyx나 overleaf를 통해 논문 작성 시 이미지가 깨지지 않게? 하려고 사용한다고 함 https://wiki.lyx.org/Windows/MetafileToEPSConverter LyX wiki | Windows / MetafileToEPSConverter > Metafile to EPS Converter Last update: version 1.5 (November 9, 2008). Supports Windows 2000/XP/Vista/Linux+Wine. 64-bit Windows is now also supported. Using the metafile to EPS Converter, LyX can automatically convert graphics from the wiki.lyx.org..

** 작성 오류로 업로드가 안되어 재업로드 합니다** 1차 목표 : AI Cure 발표 코드 구현 기존 코드를 활용하여 AI Cure세미나에 발표할 딥러닝 기본 예시 코드 작성 MNIST 이미지 분류(DNN), 감정 분석(RNN) 2차 목표 : AI Cure 발표 자료 정리 구현한 코드를 바탕으로 발표 자료 작성 및 정리

데코레이터 : 함수 위에 @로 작성하여 추가 기능을 수행하는 것 @decorator def function(): print('test') @property : getter의 기능을 수행함 @~.setter : setter의 기능을 수행함(~는 함수명과 같고, 함수명은 보통 변수명과 같게함) class Person: def __init(self, name)__: self.__name = name @property def name(self): return self.__name @name.setter def name(self, name): self.__name = name @classmethod : 정적 메소드의 기능을 수행함(매개변수로 self와 같은 역할을 하는 객체를 전달받음) class Person: ..

일시 - 2020년 6월 30일 20:00 ~ 23:00시 1차 목표 : Python 데코레이터 학습 --> 내용 정리 파이썬은 접근제어자가 없다보니 생각보다 특이한 방법으로 제한을 함 정적메소드도 그런데 정리한 3개만 알면 사용에 큰 문제는 없을 것으로 보임 2차 목표 : Huggingface Transformer 코드 분석 --> 추후 정리 필요 Transformer, BERT의 논문을 pytorch로 재현하기위해 huggingface를 코드를 분석중 연구에 필요한 최소한의 코드만 남기고 모두 제거, 추가적인 기능을 위한 모듈화 작업이 매우 중요할 듯

1. docker 컨테이너 만들기 // image : https://hub.docker.com/r/nvidia/cuda/ 에서 태그 보고 사용 // -p : 사용할 포트 번호 외부포트(컴퓨터):내부포트(컨테이너), -를 사용하면 범위 지정 가능 docker start -itd -p 5554:22 -p 5555-5556:5555-5556 --name 컨테이너이름 nvidia:10.1-cudnn7-runtime-ubuntu18.04 bash docker exec -it 컨테이너이름 or 컨테이너id bash //컨테이너 bash 실행 연결2. 컨테이너 우분투 세팅 passwd root //root 패스워드 설정 apt update && apt upgrade apt install vim vim /etc/apt..

-XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Transformer의 한계 1) Attention N Encoder Decoder이다, Context Vector하나만을 생성하여 순차적으로 Decoding한다. 어텐션은 다른 단어의 인코딩 Hidden State를 활용한다. 디코딩할 때 인코딩에서 받은 Hidden State를 활용하여 어텐션을 계산하고 이를 Weighted Sum하여 활용 기존 RNN보다 훨씬 좋지만, 이전 결과를 다음 결과를 위해 사용하므로 느리다(sequential)는 RNN의 단점이 남아있다. 2) Transforme..