어제 물어봤는데, 또 처음부터 찾고 있네
ChatGPT나 Claude에 자료를 올려놓고 질문해 본 적 있으신가요? 처음에는 신기하지만, 며칠 쓰다 보면 묘하게 답답한 순간이 옵니다. 어제 다섯 개 자료를 종합해서 좋은 답을 받았는데, 오늘 비슷한 걸 물어보면 AI가 또 처음부터 자료를 뒤지고 있습니다. 어제의 결론이 어디에도 남아 있지 않기 때문입니다.
지금 대부분의 AI 문서 활용은 RAG(Retrieval-Augmented Generation) 방식입니다. 도서관에 비유하면, 질문할 때마다 사서가 서가에서 책을 뽑아 와 답을 정리해 주고는 책을 다시 꽂고 메모도 남기지 않는 것과 같습니다. 아무리 많이 물어봐도 지식이 쌓이지 않습니다. 매번 단리 이자를 받는 셈입니다.
새로운 방식: AI가 직접 위키를 쓴다
OpenAI 공동 창립자이자 테슬라 AI 총괄을 지낸 안드레이 카파시(Andrej Karpathy)가 제안한 LLM Wiki는 이 문제를 정면으로 뒤집습니다. 질문할 때마다 자료를 다시 조립하지 말고, AI가 미리 정리한 위키를 만들어 계속 업데이트하게 하자는 것입니다.
같은 도서관 비유로, 이번에는 사서가 책을 뽑을 때마다 노트에 핵심을 적어둡니다. 새 책이 들어오면 기존 노트를 갱신하고, 모순되는 내용은 표시하고, 관련 항목끼리 연결합니다. 시간이 지날수록 이 노트는 도서관 전체를 안내하는 지도가 됩니다.
통합 — 새 자료가 오면 관련 페이지를 함께 갱신
새 자료를 넣으면 LLM이 읽고 요약하고 관련 페이지를 갱신합니다. 하나의 자료가 10~15개 페이지를 동시에 건드릴 수 있습니다.
질의 — 탐색 자체가 지식이 된다
위키 기반으로 질문에 답하고, 좋은 답변은 다시 위키에 새 페이지로 저장됩니다.
점검 — 모순과 끊긴 링크를 주기적으로 청소
페이지 간 모순, 고아 페이지, 빠진 교차 참조를 주기적으로 점검합니다.
왜 사람이 직접 못 했을까
위키 자체는 새로운 발명이 아닙니다. 그런데 개인이나 작은 팀의 위키는 거의 다 실패합니다. 이유는 단순합니다 — 유지보수가 너무 귀찮기 때문입니다. 새 자료가 오면 관련 페이지 5~10개를 함께 손봐야 하고, 옛 정보를 바꾸고, 끊긴 링크를 이어야 합니다. 한두 달이면 손을 놓게 되고, 위키는 절반만 최신인 상태로 방치됩니다.
LLM은 이 부분에서 사람과 정반대입니다. 지루함을 느끼지 않고, 교차 참조 갱신을 까먹지 않으며, 한 번에 15개 파일을 동시에 손볼 수 있습니다. 유지보수 비용이 사람보다 훨씬 낮아지니, 위키가 커질수록 가치가 올라갑니다. 카파시 본인이 약 100건의 자료, 수백 페이지 규모의 위키를 복잡한 검색 시스템 없이 마크다운 파일과 인덱스 하나만으로 운영했다고 보고했습니다. 다만 이는 1인 실험(n=1)의 사례 보고로, 조직 환경에서의 일반화는 별도 검증이 필요합니다.
Naive RAG와 무엇이 다른가
| 구분 | Naive RAG | LLM Wiki |
|---|---|---|
| 지식 축적 | 매번 처음부터 | 계속 쌓임 |
| 같은 질문 반복 시 | 매번 새로 답 만듦 | 정리된 결론에서 답 |
| 모순된 정보 | 발견 못 함 | AI가 표시 |
| 사람의 부담 | 자료, 질문, 검토 모두 | 큐레이션과 검토만 |
| 새 자료 통합 | 단순 색인 | 관련 페이지 자동 갱신 |
다만 RAG를 대체하는 것이 아니라 보완하는 관계입니다. 수백만 건 문서의 정밀 검색, 실시간 데이터, 접근 권한 통제가 필요한 영역은 여전히 RAG(및 그 변형)가 잘하는 자리입니다. 실전에서는 위키가 "정리된 결론"을, RAG가 "원본 정밀 검색"을 맡는 하이브리드가 현실적인 답입니다.
누가 어떻게 쓰는가: 5가지 대표 시나리오
박사 과정 리서치 위키
100편 이상의 논문을 읽어도 한 달 후면 어디서 무엇을 봤는지 기억나지 않습니다. 새 논문을 읽을 때마다 LLM이 요약 페이지를 만들고 저자·방법론·결과 페이지와 자동 연결하면, 논문 제출 시점에 인용과 비교 분석을 즉시 회수할 수 있습니다.
스타트업 기술 의사결정 위키
기술 선택의 근거가 슬랙과 노션 곳곳에 흩어져 "왜 이걸 골랐더라"를 반복하는 팀에게, 결정과 근거가 축적되는 살아있는 기록이 됩니다.
컨설팅 펌의 클라이언트별 지식 베이스
프로젝트가 끝나면 담당자의 머릿속에만 남던 클라이언트 맥락을, 조직이 읽을 수 있는 종합 문서로 전환합니다.
엔지니어링 팀의 장애 회고 위키
포스트모템이 개별 문서로 잠들지 않고, 유사 장애·근본 원인·재발 방지책이 교차 연결된 지식망으로 자랍니다.
의료/법률 사례 데이터베이스
사례가 쌓일수록 판단 기준이 정교해지는 도메인에서, 정리된 사례 비교가 즉시 회수 가능한 자산이 됩니다.
Agentic AI와는 다른 계층의 도구
에이전트가 "일을 대신 해주는 손"이라면, LLM Wiki는 그 손이 참조하는 "조직의 기억"입니다. 에이전트 하네스가 작업 실행의 안정성을 다룬다면, LLM Wiki는 작업의 결과와 맥락이 다음 작업에 복리로 재사용되게 만듭니다. 두 계층이 결합될 때 — 에이전트가 일을 하고, 그 결과가 위키에 쌓이고, 다음 에이전트가 위키를 읽고 시작할 때 — 조직의 AI 활용은 단리에서 복리로 바뀝니다.
결론: 질문은 "무엇이 더 좋은가"가 아니라 "언제 무엇을 쓰는가"
LLM Wiki는 RAG의 대체재가 아니라, 그동안 비어 있던 계층 — 정리된 지식의 축적 — 을 채우는 도구입니다. 자료가 수십~수백 건 규모이고, 같은 주제로 반복해서 질문하며, 결론의 재사용이 중요한 워크로드라면 위키가 답입니다. 수백만 건의 정밀 검색과 실시간성이 필요하면 RAG입니다. 그리고 대부분의 조직은 결국 둘을 함께 쓰게 될 것입니다.