큰 컨텍스트 창을 신뢰하지 마라 (opens in new tab)
LLM의 컨텍스트 창은 모델이 예리하게 작동하는 스마트 구간과 주의력이 떨어져 앞선 지시를 잊기 시작하는 둔한 구간으로 나뉠 수 있음 구분점은 약 100k 토큰 주변에 있으며, 광고되는 컨텍스트 창 크기가 커도 실제 작업 가능 범위를 그대로 의미하지 않음 코딩 에이전트는 파일 읽기…
Read the original articleLLM의 컨텍스트 창은 모델이 예리하게 작동하는 스마트 구간과 주의력이 떨어져 앞선 지시를 잊기 시작하는 둔한 구간으로 나뉠 수 있음 구분점은 약 100k 토큰 주변에 있으며, 광고되는 컨텍스트 창 크기가 커도 실제 작업 가능 범위를 그대로 의미하지 않음 코딩 에이전트는 파일 읽기…
Read the original article