AI 연구진, 자율 에이전트를 위한 안전장치 마련 촉구 (opens in new tab)

5월 25~26일 발표된 논문과 기사들에 따르면, AI 안전 연구원, 규제 당국 및 업계 관계자들은 자율 AI 에이전트, 프런티어 모델 및 오픈 웨이트(open-weight) 시스템으로 인해 발생하는 위험이 광범위해지고 있다고 설명했습니다. 새로운 arXiv 조사에 따르면 에이전트형 AI 시스템은 대규모 언어 모델을 계획, 도구 사용, 메모리 및 장기 상호작용과 결합하여 복잡한 작업을 자율적으로 수행할 수 있게 해주지만, 동시에 안전성, 견고성, 개인정보 보호 및 시스템 보안 측면에서 새로운 실패 모드를 생성합니다. ETNews에 따르면 서울에서 열린 컨퍼런스에서 김명주 한국 AI 안전연구소장은 AI 에이전트는 상식이 부족하다는 점에서 인간과 다르며, 필요한 최소한의 권한만 부여받아야 한다고 말했습니다. 여러 논문은 급변하는 AI 시스템으로 인해 발생하는 거버넌스 공백을 설명했습니다. 유럽 AI 법에 관한 한 arXiv 논문은 고위험 AI 의무가 업데이트된 시스템이 규제 목적상...