[2020하계모각코] 3회차

일시 - 2020년 7월 14일 20:00 ~ 23:00시

 

1차 목표 : ELECTRA Huggingface VS Google 성능 비교

Huggingface에서 제공하는 ELECTRA와 Google에서 제공하는 ELECTRA의 GLUE(CoLA 태스크) 성능 비교

--> 비슷한 성능을 보이는 것으로 확인함

 

2차 목표 : ELECTRA구현 코드작업 시작하기

ELECTRA를 PyTorch로 구현하기위한 코드 작업 시작하기

--> 생각보다 구조가 복잡하여 시간이 많이 필요함, 다음주까지 완료를 목표로 진행

 

추가 작업 : ELECTRA Huggingface 코드로 선학습하기

ELECTRA를 Huggingface코드를 활용해 선학습한 뒤 기존의 모델과 성능 차이를 비교하고자 함