분류 전체보기
-
[2020하계모각코] 4회차카테고리 없음 2020. 7. 21. 20:18
일시 - 2020년 7월 21일 20:00 ~ 23:00시 1차 목표 : ELECTRA 선학습을 위한 데이터 전처리 작업 진행하기 ELECTRA를 PyTorch로 구현한 뒤 학습하기 위한 데이터 수집 및 전처리 과정 --> 데이터 전체 규모가 약 140Gb로 추정, 생각보다 수집에 시간이 걸림 2차 목표 : ELECTRA구현 코드작업 시작하기, ELECTRA Huggingface 코드로 선학습하기 ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기 ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함 --> 지속적인 작업 진행 예정
-
[2020하계모각코] 3회차프로젝트/모각코 2020. 7. 14. 21:04
일시 - 2020년 7월 14일 20:00 ~ 23:00시 1차 목표 : ELECTRA Huggingface VS Google 성능 비교 Huggingface에서 제공하는 ELECTRA와 Google에서 제공하는 ELECTRA의 GLUE(CoLA 태스크) 성능 비교 --> 비슷한 성능을 보이는 것으로 확인함 2차 목표 : ELECTRA구현 코드작업 시작하기 ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기 --> 생각보다 구조가 복잡하여 시간이 많이 필요함, 다음주까지 완료를 목표로 진행 추가 작업 : ELECTRA Huggingface 코드로 선학습하기 ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함
-
Metafile to eps converter 사용법개발/소소한 정보 2020. 7. 10. 18:26
lyx나 overleaf를 통해 논문 작성 시 이미지가 깨지지 않게? 하려고 사용한다고 함 https://wiki.lyx.org/Windows/MetafileToEPSConverter LyX wiki | Windows / MetafileToEPSConverter > Metafile to EPS Converter Last update: version 1.5 (November 9, 2008). Supports Windows 2000/XP/Vista/Linux+Wine. 64-bit Windows is now also supported. Using the metafile to EPS Converter, LyX can automatically convert graphics from the wiki.lyx.org..
-
[Python] 파이썬 데코레이터(decorator)개발/파이썬 2020. 6. 30. 23:52
데코레이터 : 함수 위에 @로 작성하여 추가 기능을 수행하는 것 @decorator def function(): print('test') @property : getter의 기능을 수행함 @~.setter : setter의 기능을 수행함(~는 함수명과 같고, 함수명은 보통 변수명과 같게함) class Person: def __init(self, name)__: self.__name = name @property def name(self): return self.__name @name.setter def name(self, name): self.__name = name @classmethod : 정적 메소드의 기능을 수행함(매개변수로 self와 같은 역할을 하는 객체를 전달받음) class Person: ..
-
[2020하계모각코] 1회차프로젝트/모각코 2020. 6. 30. 21:03
일시 - 2020년 6월 30일 20:00 ~ 23:00시 1차 목표 : Python 데코레이터 학습 --> 내용 정리 파이썬은 접근제어자가 없다보니 생각보다 특이한 방법으로 제한을 함 정적메소드도 그런데 정리한 3개만 알면 사용에 큰 문제는 없을 것으로 보임 2차 목표 : Huggingface Transformer 코드 분석 --> 추후 정리 필요 Transformer, BERT의 논문을 pytorch로 재현하기위해 huggingface를 코드를 분석중 연구에 필요한 최소한의 코드만 남기고 모두 제거, 추가적인 기능을 위한 모듈화 작업이 매우 중요할 듯
-
Docker ubuntu18.04 nvidia/cuda, pytorch 등등 세팅하기개발/오픈소스 2019. 8. 14. 20:50
1. docker 컨테이너 만들기 // image : https://hub.docker.com/r/nvidia/cuda/ 에서 태그 보고 사용 // -p : 사용할 포트 번호 외부포트(컴퓨터):내부포트(컨테이너), -를 사용하면 범위 지정 가능 docker start -itd -p 5554:22 -p 5555-5556:5555-5556 --name 컨테이너이름 nvidia:10.1-cudnn7-runtime-ubuntu18.04 bash docker exec -it 컨테이너이름 or 컨테이너id bash //컨테이너 bash 실행 연결2. 컨테이너 우분투 세팅 passwd root //root 패스워드 설정 apt update && apt upgrade apt install vim vim /etc/apt..
-
Transformer-XL 자료정리 및 설명요약개발/딥러닝 2019. 7. 16. 00:10
-XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Transformer의 한계 1) Attention N Encoder Decoder이다, Context Vector하나만을 생성하여 순차적으로 Decoding한다. 어텐션은 다른 단어의 인코딩 Hidden State를 활용한다. 디코딩할 때 인코딩에서 받은 Hidden State를 활용하여 어텐션을 계산하고 이를 Weighted Sum하여 활용 기존 RNN보다 훨씬 좋지만, 이전 결과를 다음 결과를 위해 사용하므로 느리다(sequential)는 RNN의 단점이 남아있다. 2) Transforme..