[2020하계모각코] 4회차

일시 - 2020년 7월 21일 20:00 ~ 23:00시

 

1차 목표 : ELECTRA 선학습을 위한 데이터 전처리 작업 진행하기

ELECTRA를 PyTorch로 구현한 뒤 학습하기 위한 데이터 수집 및 전처리 과정

--> 데이터 전체 규모가 약 140Gb로 추정, 생각보다 수집에 시간이 걸림

 

2차 목표 : ELECTRA구현 코드작업 시작하기, ELECTRA Huggingface 코드로 선학습하기

ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기

ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함

--> 지속적인 작업 진행 예정