현장에서 검증된 AI 도입 전략과 운영 원칙.
"우리 현장은 변수가 너무 많은데 AI가 되겠습니까?", "BIM도 겨우 돌리는데 AI까지 봐야 합니까?", "대형사나 하는 것 아닙니까?" 건설·플랜트·조선·중공업 기업에서 가장 자주 나오는 질문입니다. 건설 AI는 현장 전체를 자동화하는 기술이 아니라 안전·공정·품질·문서처럼 판단 기준이 반복되고 데이터가 이미 쌓인 업무부터 사람의 판단을 돕는 방식으로…
"사내 RAG를 만들었는데 왜 제품 코드를 정확히 입력할수록 엉뚱한 문서를 찾을까?", "규정 번호로 물으면 못 찾는데 이건 모델 문제인가?", "검색 방식을 바꿔야 하나, 모델을 더 좋은 것으로 바꿔야 하나?" 사내 문서 검색이나 RAG PoC를 운영하는 팀에서 반복해서 나오는 질문입니다.
배송 지연이 반복되고 창고에는 재고가 쌓이는데, 정작 어디에서 문제가 시작되는지 짚어내기 어려운 상황이 있습니다. 이때 물류·SCM 담당자가 던지는 질문은 대체로 세 가지입니다. "수요예측부터 해야 하나요?", "기존 ERP와 WMS를 그대로 두고 AI를 붙일 수 있나요?", "여러 과제 중에서 무엇을 먼저 해야 하나요?"
"프롬프트를 열 번 넘게 고쳤는데 결과가 매번 다릅니다. 이제 파인튜닝을 해야 하는 것 아닌가요?" "우리 회사 내부 문서를 AI가 모르는데, 그럼 파인튜닝으로 학습시키면 되나요?" "파인튜닝을 하면 데이터가 몇 건이나 필요한가요?" AI 도입 상담에서 반복해서 듣는 질문입니다.
"업무마다 가장 큰 모델을 쓰는 게 맞나요?" "모델을 사내에 두면 보안 문제는 정말 해결되나요?" "작은 모델로 바꾸면 비용이 실제로 줄어드나요?" 기업 AI 도입을 검토하는 자리에서 반복해서 나오는 질문입니다.
병원 경영 회의에서 이런 질문이 반복됩니다. “우리도 이제 AI를 도입해야 하지 않습니까?”, “어떤 제품이 제일 낫습니까?”, “환자 데이터를 넣어도 법적으로 문제가 없습니까?” 세 질문 모두 타당하지만 순서가 뒤집혀 있습니다.
"API 비용을 줄이려면 오픈소스 LLM을 사내 서버에 올리면 되지 않나요?" "무료로 내려받은 모델을 우리 제품에 넣어 팔아도 법적으로 괜찮은가요?" "자체 서버에 올리면 사내 데이터는 정말 밖으로 안 나가나요?" 기업 AI 도입을 검토하는 자리에서 반복해서 나오는 질문입니다.
"AI를 업무에 써보자"는 이야기가 나오면 실무는 늘 같은 지점에서 멈춥니다. 보고서 초안을 만들고 사내 문서를 요약하고 고객 문의를 정리하려면 결국 회사 자료를 AI가 읽어야 하기 때문입니다.
사내 문서를 연결해 AI 챗봇을 만들었는데 엉뚱한 자료를 가져옵니다. 질문 표현을 조금만 바꾸면 방금 찾던 문서가 사라집니다. "우리 회사도 벡터 데이터베이스가 필요한 걸까요?"라는 질문은 대개 이 두 증상에서 출발합니다.
"지난번 제안서에 이 내용이 있었던 것 같은데, 어디에 뒀지?" "고객사에서 같은 질문을 받았을 때 정리한 자료가 분명히 있었는데 안 나오네." 사내 지식 검색은 문서가 부족해서 막히지 않습니다. 문서가 있는데도 필요한 순간에 꺼내지 못해서 막힙니다. 이 글은 사내 지식 검색 시스템이 어떤 4단계로 움직이는지, 도입 전에 무엇부터 정해야 하는지를 기술 용어…
회사에 문서는 이미 충분히 쌓여 있습니다. 업무 매뉴얼은 드라이브에, 제품 정보는 데이터베이스에, 지난 보고서와 회의록은 폴더별로 정리돼 있습니다. 그런데 이 자료를 AI가 참고하게 만들려고 하면 "문서는 다 있는데 왜 질문과 관련된 내용을 못 찾지?", "검색어를 조금만 바꿔도 결과가 달라지는데 이게 정상인가?", "데이터베이스가 이미 있는데 뭘 또 만들…
매뉴얼 서너 개를 넣었을 때는 사내 문서 AI가 곧잘 답합니다. 여기에 규정집, 업무 매뉴얼, 보고서, 회의록까지 붙이려는 순간 담당자에게 질문이 생깁니다. "문서가 이렇게 많아지면 검색도 느려지지 않나?", "파일이 늘수록 엉뚱한 답이 나오는 것 아닌가?", "그러면 도입을 조금 미루는 게 안전한가?"
