Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data?
Google TechTalks · 44:29 · Watch on YouTube
이 강연은 논문 *Data Mixture Inference: What do BPE tokenizers reveal about their training data?*를 발표합니다. 핵심 결과는 BPE 토크나이저의 정렬된 병합 목록이 훈련 데이터의 언어, 코드 및 도메인 비율을 누설하며, 선형 계획법 공격이 이러한 비율을 매우 정확하게 복구할 수 있다는 것입니다. GPT, Llama, Mi...