LLM은 데이터베이스가 아니다 (opens in new tab)

"우리 서비스에 추천 기능을 넣자. LLM한테 맡기면 되지 않아?"요즘 CTO님들과 미팅을 하거나 밋업에 참가하면 이런 이야기에 고민하는 CTO님들을 정말 자주 뵙는다.CEO, PM, PO, 사업 리더 할 것 없이 LLM이 마치 우리 서비스의 모든 데이터를 꿰고 있는 만능 추천 엔진인 것처럼 이야기한다.그 기대의 이면에는 하나의 오해가 깔려 있다.LLM이 데이터베이스처럼 데이터를 저장하고 있다가, 질문하면 그 안에서 꺼내주는 것이라는 오해 말이다.이 오해가 생기는 이유는 간단하다.겉으로 보면 둘이 똑같기 때문이다.데이터베이스에 SQL을 던지면 답이 나오고,LLM에 프롬프트를 던져도 답이 나온다."질문하면 답해준다"는 경험이 동일하니, 안쪽에서 무슨 일이 일어나는지는 신경 쓰지 않게 된다.하지만 안쪽은 근..