개발자들과 소규모 오픈 소스 프로젝트들이 5월 25일과 26일에 걸쳐 로컬 모델, 코딩 에이전트, 검색 시스템 및 개발자 워크플로 제어에 초점을 맞춘 일련의 AI 인프라 도구를 출시했습니다. 이번 출시에는 16GB Apple Silicon Mac에서 로컬 LLM을 위한 RAM 중심 컨텍스트 레이어인 Skeg, 디스크 기반 벡터 데이터베이스를 사용하는 로컬 우선 파일 메모리 엔진인 Laptop AI, 언어 서버를 AI 에이전트에 노출하는 MCP 서버인 Pharos, 자체 호스팅 AI 코드 리뷰어인 Mira, 그리고 LLM API 트래픽을 로깅하고 재생하기 위한 로컬 프록시인 PrismCat이 포함되었습니다. Together AI 또한 긴 컨텍스트 LLM 추론 중에 GPU 메모리 사용량을 줄이도록 설계된 어텐션 인식 2비트 KV 캐시 양자화 시스템인 OSCAR를 오픈 소스로 공개했습니다. 다른 게시물들은 가드레일, 오케스트레이션 및 코딩 에이전트 프로세스를 다루었으며, 여기에는 G...

Read the original article