AI 개발자들, 대규모 모델의 메모리 비용 절감 목표 (opens in new tab)

5월 25-26일에 발표된 세 가지 AI 보고서는 대규모 모델의 메모리 및 컴퓨팅 비용 절감에 중점을 두었습니다. Tom's Hardware는 한 애호가가 768GB의 Intel Optane DIMM 메모리와 단일 GPU를 사용하여 로컬 1조 매개변수 Kimi K2.5 설치를 실행하여 초당 약 4토큰에 도달했다고 보고했습니다. arXiv 논문은 BigMac을 소개했는데, 이는 다중 모드 대규모 언어 모델 훈련 파이프라인으로, 저자들은 LLM 활성화-메모리 복잡성을 변경하지 않으면서 인코더 및 생성기 활성화-메모리 복잡성을 O(1)로 줄인다고 말했습니다. IThome의 자매 출판물인 iFanr은 ModelBest, 칭화대학교 및 OpenBMB 커뮤니티가 Huawei Ascend 하드웨어에서 엔드 투 엔드로 훈련된 3진 대규모 모델 시리즈인 BitCPM-CANN을 출시했다고 보고했습니다. 이 보고서는 이 접근 방식이 모델 성능 손실 없이 메모리 사용량을 6배 줄일 수 있으며, 모델...