robots.txt란 무엇인가요?

robots.txt는 사이트 최상위에 두는 파일로, 어떤 크롤러가 어떤 경로에 접근할 수 있는지를 지정합니다.

병원 실무에서 왜 중요한가요?

GPTBot·ClaudeBot·PerplexityBot·Google-Extended 같은 AI 크롤러도 여기서 제어됩니다. 이미지 도용을 막으려다 AI 접근까지 함께 차단된 경우가 있으므로, 도메인 뒤에 /robots.txt를 붙여 현재 상태를 직접 확인하는 것이 좋습니다.

함께 보면 좋은 용어

AI 크롤러

AI 크롤러는 생성형 AI 서비스가 학습이나 실시간 답변에 사용할 웹 문서를 수집하기 위해 운영하는 자동 수집 프로그램입니다.

llms.txt

llms.txt는 사이트 최상위에 두는 텍스트 문서로, 생성형 AI에게 해당 조직의 핵심 사실과 주요 문서를 정리해 알려주는 용도로 제안된 형식입니다.

이 용어를 다룬 글

• 홈페이지 견적이 왜 이렇게 차이 나는가 — 견적서 읽는 법

  같은 '홈페이지 제작'이라는 이름으로 전혀 다른 것이 팔립니다. 템플릿 조립인지 개별 설계인지, 콘텐츠와 관리자 화면이 포함인지, 구조화 데이터가 범위에 있는지에 따라 견적은 달라집니다. 금액을 비교하기 전에 무엇을 사는지부터 맞추는 방법을 정리했습니다.

• 홈페이지를 새로 만들면 검색 순위가 사라지는 이유 — 리뉴얼 전 반드시 할 일

  리뉴얼 후 검색 유입이 줄어드는 가장 흔한 원인은 디자인이 아니라 주소(URL)가 바뀐 것입니다. 기존 URL 목록을 모으고 새 주소로 연결하는 매핑표를 만드는 방법, 오픈 전·당일·2주 후에 확인할 항목을 정리했습니다.

• 서치콘솔에 처음 들어갔을 때 볼 것 딱 3가지

  구글 서치콘솔과 네이버 서치어드바이저는 화면이 복잡합니다. 홍보팀 실무자가 처음 열었을 때 볼 지표 3가지와, 어떤 값이면 문제이고 무엇부터 손대야 하는지 정리했습니다.

• 네이버와 구글, 병원은 어디에 먼저 대응해야 하나

  네이버와 구글은 크롤러도 등록 절차도 다릅니다. 한쪽만 대응하면 어떤 문제가 생기는지, 각각 무엇을 해야 하는지, 우선순위를 어떻게 자사 데이터로 정할지 정리했습니다.