CS336: 처음부터 만드는 언어 모델링 (opens in new tab)
언어 모델은 현대 NLP 애플리케이션의 기반이며, 하나의 범용 시스템으로 다양한 하위 작업을 다루는 새 패러다임을 연다 이 과정은 사전학습용 데이터 수집·정제, Transformer 구축, 학습, 배포 전 평가까지 언어 모델 개발 전 과정을 직접 구현하게 함 과제는 토크나이저·모델 구…
Read the original article언어 모델은 현대 NLP 애플리케이션의 기반이며, 하나의 범용 시스템으로 다양한 하위 작업을 다루는 새 패러다임을 연다 이 과정은 사전학습용 데이터 수집·정제, Transformer 구축, 학습, 배포 전 평가까지 언어 모델 개발 전 과정을 직접 구현하게 함 과제는 토크나이저·모델 구…
Read the original article