LSTM is dead. Long Live Transformers!
Seattle Applied Deep Learning · 28:48 · Watch on YouTube
Transformers는 LSTM의 학습 및 전이학습 실패를 병렬화 가능한 멀티헤드 어텐션과 포지셔널 인코딩으로 해결한 약 12개월 된 NLP의 대변혁으로, 몇 줄의 코드로 파인튜닝할 수 있는 BERT 같은 재사용 가능한 사전학습 모델을 가능하게 했다.
Seattle Applied Deep Learning · 28:48 · Watch on YouTube
Transformers는 LSTM의 학습 및 전이학습 실패를 병렬화 가능한 멀티헤드 어텐션과 포지셔널 인코딩으로 해결한 약 12개월 된 NLP의 대변혁으로, 몇 줄의 코드로 파인튜닝할 수 있는 BERT 같은 재사용 가능한 사전학습 모델을 가능하게 했다.