사내 AI 지식검색은 승인된 문서를 바탕으로 한정된 질문에 답하고 근거를 보여주는 시범 운영부터 시작하세요. RAG는 관련 자료를 검색한 뒤 모델이 이를 참고해 답변을 만드는 방식입니다. 누락되거나 오래되거나 접근이 제한된 정보를 자동으로 해결하지는 않습니다.
질문 범위를 하나로 좁히세요
현재 제품 사양 찾기나 승인된 사내 절차 안내처럼 용도를 정합니다. 누가 사용하며 답을 통해 어떤 결정을 하는지도 분명히 하세요. 모든 공유 폴더를 넣고 모든 질문에 답하도록 시작하면 검증 범위가 불명확해집니다.
실제 질문, 표현을 바꾼 질문, 답이 없어야 하는 사례를 모읍니다. 기대하는 출처, 핵심 사실과 사용자 권한을 기록하세요. 일부 사례는 개발 조정에 사용하지 않고 최종 평가에 남겨 둡니다.
문서별 책임자를 정하세요
원본 위치, 담당자, 버전, 시행일, 검토일과 접근 규칙을 관리합니다. 문서 교체와 삭제를 검색 색인에 반영하는 방법도 정해야 합니다. 오래된 절차를 자신 있게 제시하는 것보다 근거가 없음을 알리는 편이 나을 수 있습니다.
지원 매뉴얼을 예로 들면 현재 승인된 반품 절차와 과거 초안을 구분합니다. 승인 문서를 우선하고 출처에서 문서 상태를 확인할 수 있게 하세요.
답변을 만들기 전에 권한을 적용하세요
사용자가 볼 수 있는 자료만 검색 단계에서 가져와야 합니다. 비밀을 말하지 말라는 모델 지시에만 의존하지 마세요. Microsoft의 문서 수준 접근 제어 안내는 검색 애플리케이션의 권한 적용을 설명합니다.
서로 다른 권한, 권한 회수 후, 대화 공유 상황을 시험하세요. 답변뿐 아니라 캐시, 로그와 인용 링크도 확인합니다. 검색 문서는 정보이며 접근 규칙 변경이나 작업 실행을 명령할 권한을 갖지 않습니다.
검색과 답변을 따로 평가하세요
- 검색: 올바른 최신 문서를 찾았나요?
- 답변: 중요한 주장에 문서 근거가 있나요?
- 출처: 해당 사용자가 근거 자료를 열 수 있나요?
- 불확실성: 근거가 없을 때 답을 보류하거나 확인을 요청하나요?
- 운영: 예상 사용량에서 응답 시간과 비용이 적절한가요?
어려운 질문은 업무 담당자가 검토해야 합니다. 문장이 자연스러워도 잘못된 버전의 규정을 안내하면 실패한 결과입니다.
확대 기준을 먼저 합의하세요
시험 전에 통과 조건을 정하고 실패 질문, 권한 밖 자료 검색, 오래된 문서 사례를 기록합니다. 피드백 담당자를 지정하고 모델, 지시문, 문서 처리나 권한을 바꾸면 다시 평가하세요.