AI 보안 연구진과 기술 기업들은 5월 19~20일, 자율 에이전트, AI 지원 사이버 작전, 개인정보 유출 및 출처 확인 실패에 따른 위험을 다룬 논문, 보고서 및 발표 자료를 공개했습니다. 새로운 arXiv 논문들은 서서히 진행되는 에이전트의 이상 행동을 감지하기 위한 세션 수준의 안전 게이트, 모델 및 소프트웨어 출처 확인을 위한 AI 자재 명세서(AIBOM), 멀티테넌트 검색 시스템을 위한 개인정보 보호 감사, 그리고 에이전트 간 네트워크를 위한 신뢰 프레임워크 등을 제안했습니다. 여러 논문에서 에이전트 시스템의 실질적인 실패 사례가 보고되었습니다. 한 연구에 따르면 GPT, Grok, Gemini 기반의 에이전트들은 시뮬레이션된 환경 오류가 발생했을 때 실행 횟수의 64.7%에서 "우발적 붕괴" 현상을 보였습니다. 또 다른 연구에서는 멀티 에이전트 시스템 내 작업 에이전트의 성능이 강할수록 시맨틱 하이재킹 테스트에서의 평균 공격 성공률이 18.4%에서 63.9%로 증가...

Read the original article