개발
-
Transformer-XL 자료정리 및 설명요약개발/딥러닝 2019. 7. 16. 00:10
-XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Transformer의 한계 1) Attention N Encoder Decoder이다, Context Vector하나만을 생성하여 순차적으로 Decoding한다. 어텐션은 다른 단어의 인코딩 Hidden State를 활용한다. 디코딩할 때 인코딩에서 받은 Hidden State를 활용하여 어텐션을 계산하고 이를 Weighted Sum하여 활용 기존 RNN보다 훨씬 좋지만, 이전 결과를 다음 결과를 위해 사용하므로 느리다(sequential)는 RNN의 단점이 남아있다. 2) Transforme..
-
XLNet 자료정리 및 설명요약개발/딥러닝 2019. 7. 2. 16:07
-XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Pretraining Methods 1) AutoRegressive 시퀀스가 주어졌을때 다음 토큰에 대한 분포를 찾아내는 방식 Forward와 Backward가 있는데 단방향만 가능함 Text Generation과 잘맞는다.(시퀀스를 보고 다음 토큰을 예측) 1) AutoEncoding 전체 중 일부를 masking한 뒤 해당 토큰을 맞춘다. 전체를 보고 맞추기 때문에 문맥 파악, 주제 파악 등에 좋다. masking 토큰들이 독립적이라고 가정한다는 단점이 있다. masking을 하므로 gene..
-
ubuntu18.04 nvidia driver-418, cuda10.1설치개발/리눅스 2019. 5. 5. 18:09
참고링크 Ubuntu 18.04 LTS에서 그래픽 드라이버 nvidia-415 버전 설치 설명 -nouveau 설치 확인 및 제거 lsmod | grep nouveau //출력되는 것이 있으면 nouveau가 설치된 것으로 제거해야한다. sudo vim /etc/modprobe.d/blacklist-nouveau.conf //파일 생성 후 아래 두 줄 입력후 저장 blacklist nouveau options nouveau modset=0 udo update-initramfs -u //입력 후 재부팅, 화면이 멈추면 Ctrl + Alt + F4 후 재부팅 sudo service gdm stop //nouveau가 제거된다. -최신버전 nvidia driver와 cuda설치 sudo add-apt-repo..
-
[Ubuntu18.04]도커 사용하기개발/리눅스 2019. 5. 3. 17:48
1. 참고링크 초보를 위한 도커 안내서 도커 기본 사용법 정리 2. 설명 설치하기 curl -fsSL https://get.docker.com/ | sudo sh sudo 없이 도커 사용하기 //도커는 root권한으로 실행됨, 아래 입력하고 다시 로그인하면 sudo없이 사용가능 sudo usermod -aG docker 유저이름 설치 확인하기 docker version 옵션 -ddetached mode 흔히 말하는 백그라운드 모드-p호스트와 컨테이너의 포트를 연결 (포워딩)-v호스트와 컨테이너의 디렉토리를 연결 (마운트)-e컨테이너 내에서 사용할 환경변수 설정–name컨테이너 이름 설정–rm프로세스 종료시 컨테이너 자동 제거–iinteractive–ttty-it-i와 -t를 동시에 사용한 것으로 터미널 ..
-
Pytorch 튜토리얼 따라하기개발/딥러닝 2019. 3. 29. 15:48
예제로 배우는 PyTorch를 따라하며 정리한 내용이다. 코드 + 주석 import numpy as np N = 64 # Batch Size D_in = 1000 # Input Dimension H = 100 # Hidden Dimension D_out = 10 # Output Dimension # rand = 0 ~ 1 균일 분포 # randn = 가우시안 정규 분포 # randint = 정수 균일 분포 # Generate Random Data x = np.random.randn(N, D_in) # N by D_in y = np.random.randn(N, D_out) # N by D_out # Reset Weight Random w1 = np.random.randn(D_in, H) # D_in by ..
-
ubuntu18.04 anaconda5.2.0 pytorch pycharm에 설치하기개발/리눅스 2019. 3. 21. 18:05
우분투에 아나콘다, pytorch 설치하기 -아나콘다 설치1. cd /tmp (임시 폴더로 이동, 아무곳이나 상관없을거같긴 함)2. curl -O https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh (홈페이지에 있는 최신 버전도 무관할듯)3. bash Anaconda3-5.2.0-Linux-x86_64.sh입력하고 enter, yes 누르면서 쭉쭉 진행, 마지막에 VSCode설치할 것인지 물어보는데 취사선택(path같은거 모두 yes하는게 좋음)-가상환경 생성, Pytorch 설치1. conda create --name project_name2-1. conda activate project_name (가상환경으로 진입, 터미널에서 보면 계..
-
[티스토리 스킨 오류]square스킨 썸네일/recent posts 오류개발/소소한 정보 2018. 7. 14. 14:12
wallel님이 만드신 square 스킨에 최근 포스터가 아래와 같이 제대로 나오지 않는 오류?(의도하신거 같기도 합니다...?)를 찾았습니다. 저는 글 제목이 보였으면 해서 css를 수정해보기로 하였습니다. 최근 글에 이미지를 넣은 글이 없어서 이미지가 잘리거나 보이지 않는 현상은 발견하지 못했는데, 해당 문제는http://gocoder.tistory.com/159 이 링크나 https://wallel.com/contact/faq/?pageid=1&uid=227 이 링크를 참조하시면 될거같습니다. 이렇게 내용이 보이지 않다가 마우스를 갖다 대야지 제목과 배경이 나오는 경우입니다.마우스와 상관없이 제목과 내용을 보여주기 위해 css코드를 수정해야합니다.블로그 관리 -> 꾸미기 - 스킨 편집 -> 오른쪽에..