분류 전체보기
-
Pytorch 튜토리얼 따라하기개발/딥러닝 2019. 3. 29. 15:48
예제로 배우는 PyTorch를 따라하며 정리한 내용이다. 코드 + 주석 import numpy as np N = 64 # Batch Size D_in = 1000 # Input Dimension H = 100 # Hidden Dimension D_out = 10 # Output Dimension # rand = 0 ~ 1 균일 분포 # randn = 가우시안 정규 분포 # randint = 정수 균일 분포 # Generate Random Data x = np.random.randn(N, D_in) # N by D_in y = np.random.randn(N, D_out) # N by D_out # Reset Weight Random w1 = np.random.randn(D_in, H) # D_in by ..
-
1-2. 한국어 띄어쓰기 구현 - CRFSuite카테고리 없음 2019. 3. 29. 15:27
Python-CRFSuite CRFSuite : 주변의 레이블들을 보고 해당 아이템이 어떤 레이블인지 판단하는 통계적 모델링 기법이다. CRF를 이용한 한국어 자동 띄어쓰기(심광섭)와 theeluwin님의 블로그를 참고하여 진행하였다. 구현한 내용이 위의 블로그와 동일한데 논문에서 사용한 방법대로 feature set을 늘려 구현하였다. 이 포스팅에서는 위의 블로그에 없는, 추가 구현한 내용만 작성하도록 하겠다. feature 생성 부분이 간단하게 앞 뒤의 한 음절만 보는 방식(아래의 feature set중 맨 위)이었는데, 아래 처럼 다양한 feature를 보고 계산하도록 추가하였다.(성능 90% -> 90중후반으로 상승) def one_index2feature(sent, i, offset): word..
-
1-2. 한국어 띄어쓰기 구현 - N-Gram프로젝트/NLP Core 2019. 3. 29. 15:01
2-1. N-Gram(Bi-Gram) N-Gram : 카운트에 기반한 통계적 모델, 영어는 보통 단어 단위로 자르고 한국어는 음절 단위로 자른다. N은 자르는 개수인데, N = 1이면 UniGram 2이면 BiGram 3이면 TriGram이라고 부른다. 여기서는 BiGram으로 구현하였다. 확장된 음절 bigram을 이용한 자동 띄어쓰기시스템(강승식) 논문을 참고하여 아래처럼 8가지 상태를 측정하였다. "가나" "가나 " "가 나" "가 나 " " 가나" " 가나 " " 가 나" " 가 나 " 0 1 2 3 4 5 6 7 def save_bigram(first, second, value): if bigram_dict.get(first + second) is None: list = np.zeros(8) e..
-
ubuntu18.04 anaconda5.2.0 pytorch pycharm에 설치하기개발/리눅스 2019. 3. 21. 18:05
우분투에 아나콘다, pytorch 설치하기 -아나콘다 설치1. cd /tmp (임시 폴더로 이동, 아무곳이나 상관없을거같긴 함)2. curl -O https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh (홈페이지에 있는 최신 버전도 무관할듯)3. bash Anaconda3-5.2.0-Linux-x86_64.sh입력하고 enter, yes 누르면서 쭉쭉 진행, 마지막에 VSCode설치할 것인지 물어보는데 취사선택(path같은거 모두 yes하는게 좋음)-가상환경 생성, Pytorch 설치1. conda create --name project_name2-1. conda activate project_name (가상환경으로 진입, 터미널에서 보면 계..
-
1-1. 한국어 띄어쓰기 사전조사프로젝트/NLP Core 2019. 3. 9. 17:01
1-1. 이 분야의 전문가언어공학연구회 : http://www.hclt.kr/note/?lnb=school대한민국 AI 학자들 : http://www.aistudy.co.kr/pioneer/pioneers_kor.htm 1) 심광섭 교수CRF를 이용한 한국어 자동 띄어쓰기(2011)말뭉치와 형태소 분석기를 활용한 한국어 자동 띄어쓰기(2015)음절간 상호 정보를 이용한 한국어 자동 띄어쓰기 (1996) 2) 이창기 교수딥러닝을 이용한 한국어 자동 띄어쓰기 (1저자 황현선, 2016)Structural SVM을 이용한 한국어 띄어쓰기 및 품사 태깅 결합 모델(2013)사용자가 입력한 띄어쓰기 정보를 이용한 Structural SVM 기반 한국어 띄어쓰기(2014)Structural SVM을 이용한 한국어 ..