Itsik Mantin - When Good Agents Go Rogue
0:00 · Watch on YouTube
Isaac는 Intuit에서 AI 보안 연구를 주도하고 있으며, AI 에이전트가 챗봇보다 훨씬 더 큰 표적이라고 주장합니다. 에이전트의 컨텍스트에 도달하는 신뢰할 수 없는 텍스트는 에이전트의 목표를 탈취하고 연결된 도구를 사용자에게 대항하여 사용할 수 있습니다. 그의 해결책은 연결된 각 도구를 넘겨준 열쇠로 취급하고, 최소한의 액세스만 허용하며, 샌드박스, 인간 승인 및 중앙 AI 방화...