꼬맹이 놀이터 꼬맹이 놀이터

개발/딥러닝

• PyCharm PyTorch lightning 디버깅 멈춤현상

  개발/딥러닝 2021. 2. 8. 18:44

  파이참에서 원격 서버에 연결하여 파이토치 라이트닝을 쓸 때 training_step이나 validation_step 등에 브레이크 포인트를 걸면 멈추는 현상이 발생함 Thread 쪽 문제로 DataLoader옵션에 num_worker를 제거하면 정상적으로 디버깅 가능함 정확한 원인과 추후 개선될지는 모르겠지만... 멈춤 현상도 항상 발생하는 것은 아닌듯... ㅠ

  Read More

• 파이썬 GPU 선택하여 사용하기

  개발/딥러닝 2020. 12. 23. 02:59

  코드 내에서 선택하기 import os os.environ["CUDA_DEVICE_ORDER"]='PCI_BUS_ID' os.environ["CUDA_VISIBLE_DEVICES"]='0,1'# 0,1번 GPU 사용하기 터미널에서 파이썬 실행시 선택하기 CUDA_VISIBLE_DEVICES=0,1 python3 run.py

  Read More

• Transformers, sentencepiece 설치 에러

  개발/딥러닝 2020. 12. 18. 03:08

  도커로 우분투 띄우고 pip으로 transformers나 sentencepiece설치하려고 하면 에러가 나는 경우가 종종 있었다. 불필요한 패키지가 포함될 수 있지만 apt-get install 로 아래 패키지 모두 설치해주면 해결 가능하였다. build-essential cmake pkg-config git...?은 상관없는거같은데 혹시 모르니...

  Read More

• Transformer-XL 자료정리 및 설명요약

  개발/딥러닝 2019. 7. 16. 00:10

  -XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Transformer의 한계 1) Attention N Encoder Decoder이다, Context Vector하나만을 생성하여 순차적으로 Decoding한다. 어텐션은 다른 단어의 인코딩 Hidden State를 활용한다. 디코딩할 때 인코딩에서 받은 Hidden State를 활용하여 어텐션을 계산하고 이를 Weighted Sum하여 활용 기존 RNN보다 훨씬 좋지만, 이전 결과를 다음 결과를 위해 사용하므로 느리다(sequential)는 RNN의 단점이 남아있다. 2) Transforme..

  Read More

• XLNet 자료정리 및 설명요약

  개발/딥러닝 2019. 7. 2. 16:07

  -XLNet 1. 참고 링크 1) PR-175: XLNet: Generalized Autoregressive Pretraining for Language Understanding 동영상 정리글입니다. 2. 설명 -Pretraining Methods 1) AutoRegressive 시퀀스가 주어졌을때 다음 토큰에 대한 분포를 찾아내는 방식 Forward와 Backward가 있는데 단방향만 가능함 Text Generation과 잘맞는다.(시퀀스를 보고 다음 토큰을 예측) 1) AutoEncoding 전체 중 일부를 masking한 뒤 해당 토큰을 맞춘다. 전체를 보고 맞추기 때문에 문맥 파악, 주제 파악 등에 좋다. masking 토큰들이 독립적이라고 가정한다는 단점이 있다. masking을 하므로 gene..

  Read More

• Pytorch RNN(LSTM, GRU) Multi gpu 사용하기

  개발/딥러닝 2019. 4. 5. 16:02

  model = nn.DataParallel(model, dim=1).cuda()이유는 모르겠지만, dim=1로 해야 잘 된다. default로 두면 hidden size에서 에러가 난다.

  Read More

• Pytorch 튜토리얼 따라하기

  개발/딥러닝 2019. 3. 29. 15:48

  예제로 배우는 PyTorch를 따라하며 정리한 내용이다. 코드 + 주석 import numpy as np N = 64 # Batch Size D_in = 1000 # Input Dimension H = 100 # Hidden Dimension D_out = 10 # Output Dimension # rand = 0 ~ 1 균일 분포 # randn = 가우시안 정규 분포 # randint = 정수 균일 분포 # Generate Random Data x = np.random.randn(N, D_in) # N by D_in y = np.random.randn(N, D_out) # N by D_out # Reset Weight Random w1 = np.random.randn(D_in, H) # D_in by ..

  Read More