GopherCon 2025: Scaling LLMs with Go: Prod Patterns for Handling Millions of AI Requests - John Wang
Gopher Academy · 22:18 · Watch on YouTube
존 왕(John Wang), Assembled의 CTO이자 공동 창립자가 자신의 팀이 Go의 고루틴, 채널, 오류 처리를 사용하여 LLM 지원 봇을 데모에서 프로덕션 시스템으로 전환하는 방법을 설명합니다. 강연은 신뢰성, 실시간 가드레일, 지연 시간, 채팅과 음성을 통합한 인터페이스라는 네 가지 문제를 다룹니다. 그의 핵심 주장은 Go가 동시성을 단순하게 만들어 팀이 고객 경험에 집중할...