기업들, 주요 비즈니스 업무에서 AI 에이전트의 오작동 보고 (opens in new tab)

기업과 개발자들은 비즈니스 워크플로, 코딩 및 인프라 작업에서 AI 에이전트의 운영상 문제를 보고하고 있으며, 그 원인으로 취약한 아키텍처, 부실한 제어 및 신뢰할 수 없는 결과물을 꼽고 있습니다. Futurism은 미국 기업 경영진의 최대 79%가 AI 에이전트를 개발 중이라고 보도하면서도, 가트너의 예측을 인용해 위험 제어 부실로 인해 에이전트 프로젝트의 40%가 실패할 것이라고 전했습니다. Towards Data Science는 많은 에이전트 배포가 실패하는 이유가 팀들이 운영 아키텍처보다 모델 자체에서 시작하기 때문이라고 분석했습니다. 관련 기사들에 따르면 에이전트가 하위 효과를 고려하지 않고 서버를 재시작하거나, 비정상적이거나 잘못된 지침을 따르는 어시스턴트, 환각 현상으로 인한 잘못된 비즈니스 정보 생성, API 타임아웃 또는 작업 오류 후 시스템이 소리 없이 중단되는 등의 사례가 발생하고 있습니다. 구글 개발자 블로그는 "Titanium"이라는 영업 조사 에이전트가...