프로젝트/모각코
-
[2020하계모각코] 3회차프로젝트/모각코 2020. 7. 14. 21:04
일시 - 2020년 7월 14일 20:00 ~ 23:00시 1차 목표 : ELECTRA Huggingface VS Google 성능 비교 Huggingface에서 제공하는 ELECTRA와 Google에서 제공하는 ELECTRA의 GLUE(CoLA 태스크) 성능 비교 --> 비슷한 성능을 보이는 것으로 확인함 2차 목표 : ELECTRA구현 코드작업 시작하기 ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기 --> 생각보다 구조가 복잡하여 시간이 많이 필요함, 다음주까지 완료를 목표로 진행 추가 작업 : ELECTRA Huggingface 코드로 선학습하기 ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함
-
[2020하계모각코] 1회차프로젝트/모각코 2020. 6. 30. 21:03
일시 - 2020년 6월 30일 20:00 ~ 23:00시 1차 목표 : Python 데코레이터 학습 --> 내용 정리 파이썬은 접근제어자가 없다보니 생각보다 특이한 방법으로 제한을 함 정적메소드도 그런데 정리한 3개만 알면 사용에 큰 문제는 없을 것으로 보임 2차 목표 : Huggingface Transformer 코드 분석 --> 추후 정리 필요 Transformer, BERT의 논문을 pytorch로 재현하기위해 huggingface를 코드를 분석중 연구에 필요한 최소한의 코드만 남기고 모두 제거, 추가적인 기능을 위한 모듈화 작업이 매우 중요할 듯