현장에서 검증된 AI 도입 전략과 운영 원칙.
"API 비용을 줄이려면 오픈소스 LLM을 사내 서버에 올리면 되지 않나요?" "무료로 내려받은 모델을 우리 제품에 넣어 팔아도 법적으로 괜찮은가요?" "자체 서버에 올리면 사내 데이터는 정말 밖으로 안 나가나요?" 기업 AI 도입을 검토하는 자리에서 반복해서 나오는 질문입니다.
"AI를 업무에 써보자"는 이야기가 나오면 실무는 늘 같은 지점에서 멈춥니다. 보고서 초안을 만들고 사내 문서를 요약하고 고객 문의를 정리하려면 결국 회사 자료를 AI가 읽어야 하기 때문입니다.
사내 문서를 연결해 AI 챗봇을 만들었는데 엉뚱한 자료를 가져옵니다. 질문 표현을 조금만 바꾸면 방금 찾던 문서가 사라집니다. "우리 회사도 벡터 데이터베이스가 필요한 걸까요?"라는 질문은 대개 이 두 증상에서 출발합니다.
"지난번 제안서에 이 내용이 있었던 것 같은데, 어디에 뒀지?" "고객사에서 같은 질문을 받았을 때 정리한 자료가 분명히 있었는데 안 나오네." 사내 지식 검색은 문서가 부족해서 막히지 않습니다. 문서가 있는데도 필요한 순간에 꺼내지 못해서 막힙니다. 이 글은 사내 지식 검색 시스템이 어떤 4단계로 움직이는지, 도입 전에 무엇부터 정해야 하는지를 기술 용어…
회사에 문서는 이미 충분히 쌓여 있습니다. 업무 매뉴얼은 드라이브에, 제품 정보는 데이터베이스에, 지난 보고서와 회의록은 폴더별로 정리돼 있습니다. 그런데 이 자료를 AI가 참고하게 만들려고 하면 "문서는 다 있는데 왜 질문과 관련된 내용을 못 찾지?", "검색어를 조금만 바꿔도 결과가 달라지는데 이게 정상인가?", "데이터베이스가 이미 있는데 뭘 또 만들…
매뉴얼 서너 개를 넣었을 때는 사내 문서 AI가 곧잘 답합니다. 여기에 규정집, 업무 매뉴얼, 보고서, 회의록까지 붙이려는 순간 담당자에게 질문이 생깁니다. "문서가 이렇게 많아지면 검색도 느려지지 않나?", "파일이 늘수록 엉뚱한 답이 나오는 것 아닌가?", "그러면 도입을 조금 미루는 게 안전한가?"
회사에 자료는 다 있는데 AI가 못 찾습니다. "우리 연차 규정 문서가 분명히 있는데 왜 못 찾지?", "검색어를 조금만 바꾸면 왜 결과가 달라지지?", "AI 검색을 하려면 지금 쓰는 데이터베이스를 갈아엎어야 하나?"
"우리 회사 문서를 AI가 알게 하려면 RAG를 해야 하나요, 파인튜닝을 해야 하나요?" AI 도입 검토 자리에서 가장 자주 나오는 질문입니다. "둘 다 하면 되나요?", "비용은 어느 쪽이 적나요?"까지 이어지면 논의는 대개 결론 없이 끝납니다. 기술 이름을 먼저 정하려다 보니 정작 무엇이 막혀 있는지를 건너뛰기 때문입니다.
사내에 ChatGPT나 Claude를 도입한 회사에서 반복되는 질문이 있습니다. "요약은 잘하는데 왜 우리 ERP 숫자는 못 읽나요?", "결국 사람이 복사해서 붙여넣어야 하는 것 아닌가요?", "도구마다 연동을 새로 만들어야 하나요?" 세 질문 모두 모델 성능이 아니라 연결 방식 문제입니다.
"ChatGPT를 도입했는데 왜 우리 회사 자료는 못 읽나요?" "회의록 요약은 되는데 왜 CRM 입력은 여전히 사람이 하나요?" "도구를 하나 더 붙이면 나아지나요?" AI 도입 상담에서 반복해서 듣는 질문입니다. 세 질문의 뿌리는 하나입니다. AI의 성능이 아니라 AI와 업무 도구를 잇는 방식이 정리되지 않았습니다.
AI 도입 상담에서 ERP 조회, CRM 쓰기 권한, 사고 시 롤백은 거의 늘 이 순서로 나옵니다. 세 질문은 각각 AI 시스템 연동의 서로 다른 층을 가리킵니다.
"지난주 고객 미팅 자료 좀 찾아줘." "CRM에서 이 고객 문의 이력 확인해줘." "슬랙에 정리된 결정사항으로 지라 티켓 만들어줘." 사내에서 AI를 써 본 사람이라면 대개 이 지점에서 한 번 막힙니다. 요약도 잘하고 초안도 곧잘 쓰는데 회사 도구 안으로 들어가는 일만은 "제가 직접 접근할 수는 없습니다"로 끝납니다. AI 도구 연결이 왜 이렇게 어려운지…
