우리 병원은 AI를 막고 있을까? robots.txt로 확인하는 법

이 글의 목적은 하나입니다. 우리 병원 홈페이지가 AI에게 열려 있는지 닫혀 있는지, 지금 확인하시는 것입니다. 1분이면 됩니다.

robots.txt란 무엇인가?

robots.txt는 홈페이지 최상위 경로에 놓인 단순한 텍스트 파일입니다. '어떤 자동 수집 프로그램이 어느 경로까지 들어와도 되는지'를 적어 둔 안내문입니다.

중요한 전제가 하나 있습니다. 이 파일은 담장이 아니라 표지판입니다. 규칙을 지키는 크롤러는 따르지만, 지키지 않는 프로그램을 물리적으로 막지는 못합니다. 로그인이 필요한 정보를 여기서 보호할 수는 없습니다.

그럼에도 이 파일이 중요한 이유는, 규칙을 지키는 쪽이 바로 주요 검색엔진과 주요 AI 서비스이기 때문입니다. 여기서 막혀 있으면 그들에게는 우리 병원이 존재하지 않는 것과 비슷해집니다.

우리 병원 파일은 어떻게 여나?

1. 1브라우저 주소창에 병원 홈페이지 주소를 입력합니다.
2. 2주소 끝에 /robots.txt 를 붙입니다. 예: https://우리병원주소.kr/robots.txt
3. 3화면에 나오는 텍스트를 그대로 읽습니다. 아무것도 없거나 404 오류가 뜨면 robots.txt가 없는 상태입니다.
4. 4www가 있는 주소와 없는 주소, http와 https가 각각 다르게 동작할 수 있으니 실제로 쓰는 대표 주소로 확인합니다.

어떤 크롤러들이 오는가?

AI 관련 크롤러는 하나가 아니고, 목적도 서로 다릅니다. 'AI를 막는다'는 결정을 하기 전에 무엇을 막게 되는지 구분하실 필요가 있습니다.

표에서 특히 구분해 보실 것은 수집형과 실시간 조회형입니다. ChatGPT-User나 Claude-User처럼 사용자 요청 시점에 페이지를 가져오는 크롤러를 막으면, 환자가 AI에게 우리 병원을 직접 물어봤을 때 그 페이지를 읽지 못하게 됩니다.

Google-Extended는 조금 다릅니다. 이것은 별도의 크롤러라기보다 생성형 AI 활용 여부를 표시하는 제어 토큰에 가깝습니다. 이를 막아도 구글 검색 색인 자체에는 영향을 주지 않는 것으로 안내되어 있습니다. 다만 각 서비스의 정책은 바뀔 수 있으므로 최신 공식 문서 확인이 필요합니다.

Allow와 Disallow는 어떻게 읽나?

robots.txt는 User-agent 줄로 대상을 정하고, 그 아래 Disallow·Allow 줄로 경로를 지정하는 구조입니다. 규칙은 다음 User-agent 줄이 나올 때까지 적용됩니다.

가장 중요한 한 줄은 Disallow: / 입니다. 슬래시 하나만 있는 이 줄은 해당 User-agent에게 사이트 전체를 막는다는 뜻입니다. 우리 병원 robots.txt에서 이 줄을 발견하셨다면, 바로 위의 User-agent 이름이 무엇인지 확인하십시오.

차단이 걸려 있으면 무조건 풀어야 하나?

아닙니다. 차단에는 정당한 이유가 있을 수 있습니다. 다만 그 이유가 지금도 유효한지, 그리고 막고 있는 대상이 의도한 그 대상이 맞는지는 확인하실 필요가 있습니다.

1. 1누가 언제 왜 넣었는지 확인합니다. 담당자가 바뀌면서 이유를 아무도 모르는 채 남아 있는 경우가 많습니다.
2. 2막고 있는 대상을 구분합니다. 학습용 수집만 막고 싶었는데 검색 색인과 실시간 조회까지 막고 있지는 않은지 봅니다.
3. 3막아야 할 경로를 구분합니다. 관리자 페이지나 로그인 영역만 막으면 되는데 사이트 전체를 막고 있지는 않은지 봅니다.
4. 4결정을 문서로 남깁니다. 다음 담당자가 다시 같은 질문을 하지 않도록 합니다.

실측에서는 203곳 중 9곳이 AI 크롤러를 차단하고 있었습니다. 전체로 보면 4% 남짓이지만, 그 9곳이 성형외과 5곳과 피부과 4곳에 전부 몰려 있었습니다. 종합병원·척추관절·치과에서는 차단 사례가 한 곳도 없었습니다.

시술 전후 사진 같은 이미지 자산이 많은 진료과라는 점을 생각하면 이해할 수 있는 결과입니다. 이미지 무단 사용을 막으려던 설정이 AI 크롤러까지 함께 막았을 가능성이 큽니다. 성형외과·피부과라면 이 확인의 우선순위가 특히 높습니다.

다만 전체로 보면 국내 병원에서 흔한 문제는 여전히 '막아 놓은 것'이 아니라 '열어 두었지만 읽을 것이 없는 것' 쪽입니다. 같은 조사에서 종합병원 26곳 중 85%가 조직 정보 스키마를 갖고 있지 않았습니다.

“문이 열려 있는지 확인하는 일과, 안에 읽을 것을 두는 일은 별개입니다.”

medicaluniverse.kr

확인 후 함께 볼 것은?

• Sitemap 줄이 있는가 — 실측 종합병원의 54%가 사이트맵이 없었습니다. robots.txt 안에 Sitemap 줄로 위치를 알려 주는 것이 기본입니다.
• 주소 변형별로 같은가 — www 유무, http/https, 서브도메인마다 robots.txt가 따로 존재할 수 있습니다.
• 서브사이트는 어떤가 — 건강검진센터나 특정 센터를 별도 도메인으로 운영 중이라면 각각 확인해야 합니다.
• 자바스크립트 없이 본문이 보이는가 — 크롤러를 허용해도 본문이 스크립트로만 그려지면 읽히는 내용이 거의 없습니다. 실측에서 종합병원 6곳(23%)이 300자 미만이었습니다.

짚어 둘 한계

• robots.txt는 강제력이 없습니다. 규칙을 무시하는 수집 프로그램은 이 파일과 무관하게 접근할 수 있으므로, 보호가 필요한 정보는 인증으로 막아야 합니다.
• 각 AI 서비스의 크롤러 이름과 정책은 바뀝니다. 표의 내용은 확인 시점 기준이며, 적용 전 각 서비스의 최신 공식 문서를 확인하시기 바랍니다.
• 크롤러를 허용한다고 AI 답변에 우리 병원이 등장한다고 단정할 수 없습니다. 허용은 필요조건이지 충분조건이 아닙니다.
• 인용한 실측 수치는 2026년 7월 22일 하루, 203곳 표본 기준입니다. 국내 병원 전체를 대표하지 않습니다.