AI 크롤러는 생성형 AI 서비스가 학습이나 실시간 답변에 사용할 웹 문서를 수집하기 위해 운영하는 자동 수집 프로그램입니다.
병원 실무에서 왜 중요한가요?
대표적으로 OpenAI의 GPTBot과 OAI-SearchBot, Anthropic의 ClaudeBot, Perplexity의 PerplexityBot, 구글의 Google-Extended가 있습니다. 각각 용도가 달라, 학습용과 실시간 답변용을 구분해 허용 여부를 정할 수 있습니다.
함께 보면 좋은 용어
- robots.txt
- robots.txt는 사이트 최상위에 두는 파일로, 어떤 크롤러가 어떤 경로에 접근할 수 있는지를 지정합니다.
- GEO (생성형 검색 최적화)
- GEO는 ChatGPT·제미나이·퍼플렉시티 같은 생성형 AI가 답변을 만들 때 특정 조직이나 문서를 근거로 인용하도록 만드는 최적화를 뜻합니다.
이 용어를 다룬 글
- 진료시간표를 이미지로 올리면 생기는 일
병원 홈페이지는 진료시간표·비용 안내·시술 설명을 이미지 한 장으로 올리는 경우가 많습니다. 그 안의 글자는 검색엔진과 AI에게 존재하지 않습니다. 무엇을 이미지로 두면 안 되는지, alt 텍스트는 어떻게 쓰는지 정리했습니다.
- 네이버와 구글, 병원은 어디에 먼저 대응해야 하나
네이버와 구글은 크롤러도 등록 절차도 다릅니다. 한쪽만 대응하면 어떤 문제가 생기는지, 각각 무엇을 해야 하는지, 우선순위를 어떻게 자사 데이터로 정할지 정리했습니다.
- 성형외과·피부과를 명부로 조사했다 — 셋 중 하나, 둘 중 하나는 홈페이지가 없다
인천 지역 성형외과와 피부과를 공공명부로 조사했습니다. 검색이 아니라 명부에서 뽑았더니, 성형외과는 셋 중 하나(34%), 피부과는 절반이 자체 홈페이지가 없었습니다. 홈페이지가 있는 곳도 A등급은 성형 2곳·피부 0곳뿐 — 검색으로 보던 그림과 달랐습니다.
- 치과 40곳을 명부로 조사 — 열 곳 중 여덟 곳 가까이가 자체 홈페이지가 없다
공공명부에서 편향 없이 뽑은 치과 40곳을 조사했더니 자체 홈페이지가 있는 곳은 9곳(23%)뿐이었습니다. 홈페이지가 있는 8곳을 측정하니 평균 62점이었고, 조직 정보 스키마를 선언한 곳은 하나도 없었습니다(100% 미보유). 환자가 AI에게 지역 치과를 물었을 때 무엇이 근거로 쓰이는지, 무엇을 확인해야 하는지 항목별로 정리했습니다.
가입 없이 16개 항목 즉시 채점 · 노출 순위가 아닌 AI 준비도
크롤링과 색인 분류의 다른 용어
- llms.txt
- llms.txt는 사이트 최상위에 두는 텍스트 문서로, 생성형 AI에게 해당 조직의 핵심 사실과 주요 문서를 정리해 알려주는 용도로 제안된 형식입니다.
- 크롤링
- 크롤링은 검색엔진이나 AI 서비스의 자동 프로그램이 웹페이지를 방문해 내용을 수집하는 과정입니다.
- 색인
- 색인은 크롤링으로 수집한 페이지를 검색엔진이 분석해 검색 결과에 내보낼 수 있는 형태로 저장하는 과정입니다.
- 사이트맵
- 사이트맵은 사이트에 어떤 페이지가 있는지 목록으로 정리해 검색엔진에 제공하는 XML 파일입니다.
- 정적 생성
- 정적 생성은 웹페이지를 사용자 접속 시점이 아니라 미리 HTML 파일로 만들어 두는 방식입니다.
- canonical
- canonical은 내용이 비슷한 여러 주소가 있을 때 어느 것을 대표 주소로 삼을지 검색엔진에 알려주는 표시입니다.
