'병원 홈페이지 평균 몇 점' 같은 통계를 믿지 마세요 — 검색으로 모은 표본의 함정

'국내 병원 홈페이지 평균 ○○점' 같은 통계를 종종 봅니다. 숫자 자체보다 먼저 물어야 할 것이 있습니다. 그 병원들을 어떻게 골랐는가? 표본을 모으는 방법이 틀리면, 채점을 아무리 정확히 해도 결론이 실제와 어긋납니다. 우리도 처음엔 검색으로 표본을 모았고, 그래서 틀렸습니다.

검색으로 표본을 모으면 무엇이 잘못되나?

병원 홈페이지를 조사하려면 먼저 주소(도메인) 목록이 있어야 합니다. 가장 쉬운 방법은 '지역명 + 진료과'로 검색해 뜨는 병원들을 모으는 것입니다. 그런데 이 방법에는 두 겹의 편향이 있습니다.

• ① 선택 편향 — 검색은 홈페이지가 있는 병원만 보여 줍니다. 홈페이지가 없는 병원은 검색 결과에 뜰 수 없으니 표본에 들어올 수 없습니다. 그런데 뒤에서 보겠지만, 홈페이지가 없는 병원이 실제로는 절반 가까이 됩니다. 이들이 통째로 빠진 채 평균을 내면 결과가 좋게 나옵니다.
• ② 순위 편향 — 검색 상위에 뜨는 병원은 대체로 검색 최적화(SEO)가 잘 된 병원입니다. AI 준비도와 검색 최적화는 겹치는 부분이 많으므로, 상위 결과만 모으면 준비가 잘 된 병원이 과대 표집됩니다. 이 역시 평균을 높입니다.

“검색은 잘하는 곳을 먼저 보여 준다. 그래서 검색으로 모은 표본은 '다들 잘하고 있다'는 착시를 만든다.”

medicaluniverse.kr

그래서 우리는 명부에서 뽑았습니다

편향을 없애는 방법은 검색이 아니라 모집단 전체가 등록된 명부에서 표본을 뽑는 것입니다. 건강보험심사평가원 병원 목록과 인천광역시 의료기관 인허가 자료에는 그 지역의 모든 병·의원이, 검색에 잡히든 안 잡히든, 홈페이지가 있든 없든 전부 등록돼 있습니다. 여기서 규칙으로 표본을 확정하면 모든 병원이 동등한 확률로 뽑힙니다.

명부에는 홈페이지 주소가 없으므로, 기관명으로 자체 홈페이지 보유 여부를 한 곳씩 확인하는 단계를 추가했습니다. 이 단계가 있어야 '홈페이지가 없다'는 사실까지 데이터가 됩니다. 검색 조사에서는 존재조차 셀 수 없던 값입니다.

편향의 크기 — 검색이면 45%가 사라진다

명부로 조사한 225곳 중 자체 홈페이지가 있는 곳은 124곳뿐이었습니다. 나머지 101곳(45%)은 검색 기반 조사였다면 표본에 들어오지도 못했을 병원입니다. 특히 치과는 표본 40곳 중 홈페이지 보유가 9곳뿐이라, 검색으로 조사하면 그 9곳만 보고 '치과 홈페이지는 이렇다'고 말하게 됩니다. 실제 치과 실태의 4분의 3이 시야 밖에 있는 셈입니다.

순위 편향(②)의 크기는 숫자로 딱 잘라 말하기 어렵습니다. 검색 순위 데이터를 별도로 확보해 비교해야 하기 때문입니다. 다만 방향은 분명합니다 — 검색 상위 표본은 준비가 잘 된 병원 쪽으로 치우쳐 있어, 같은 채점기로 재도 평균이 더 높게 나옵니다. 그래서 검색 기반 '병원 홈페이지 평균 점수'는 실태의 상단만 본 값이라고 이해하는 편이 안전합니다.

통계를 받아 들 때 확인할 것

1. 1표본을 어떻게 모았는지 먼저 본다. 검색·추천·집계 사이트로 모았다면 좋은 쪽으로 치우쳐 있다고 가정한다.
2. 2모집단이 명시돼 있는지 본다. '전국 병원'인지 '검색된 병원'인지에 따라 같은 평균도 의미가 완전히 달라진다.
3. 3표본 수와 측정일이 함께 적혀 있는지 본다. 없으면 재현할 수 없는 숫자이므로 인용하지 않는다.
4. 4부재(不在)를 셀 수 있는 조사인지 본다. '몇 %가 홈페이지가 없는가'를 말할 수 있으면 명부 기반, 말할 수 없으면 검색 기반이다.

이 방법의 한계

• 인천 지역 명부 기반입니다. 전국을 대표하지 않으며, 다른 지역 명부를 더하면 확대됩니다.
• 순위 편향(②)의 크기는 이 조사만으로 수치화하지 않았습니다. 검색 순위 데이터를 별도로 확보해야 정량화할 수 있습니다.
• 명부와 실제가 폐업·명의 변경 등으로 어긋날 수 있어, 홈페이지 보유 여부는 기관명으로 한 곳씩 확인했습니다.