5월 26~27일 발표된 AI 연구 논문 및 게시물들은 세 가지 관련 분야에 집중했습니다. 바로 LLM 기반 에이전트의 비용 절감 및 제어 가능성 향상, 배포된 AI 시스템의 실패 모드 식별, 그리고 모델 학습 및 추론 효율성 개선입니다. MIT 테크놀로지 리뷰 인사이트는 설문 조사를 인용하며, 조직의 85%가 3년 이내에 에이전트형 AI를 사용하기를 원하지만, 76%는 현재의 운영 체계와 인프라가 이러한 변화를 지원할 수 없다고 답했다고 밝혔습니다. 여러 논문이 운영상의 병목 현상을 다루었습니다. 상태 유지 추론(stateful inference)에 관한 연구에 따르면, 멀티 에이전트 도구 호출 시스템은 프롬프트 내용의 85~95%가 턴 사이에 변경되지 않음에도 불구하고 대화를 반복해서 처리하는 경우가 많으며, 6턴 워크플로에서 2.1배, 35턴 워크플로의 중간 턴에서 4.2배의 속도 향상을 보고했습니다. MobileMoE는 선도적인 온디바이스 밀집 LLM보다 추론 FLOPs...

Read the original article