두 지역이 섞이는 세 길과 결과에 붙일 한계
지역을 나눈 검색광고 실험은 시험 지역과 기준 지역의 사람이 섞이지 않는다는 가정 위에 서 있지만, 병원 광고에서는 통근과 생활권 이동, 매체의 위치 추정, 먼 곳에서의 예약이라는 세 길로 두 집단이 섞입니다. 그래서 설계 단계에서 섞임을 줄이는 방법을 정하고, 줄이지 못한 섞임은 결과에 한계로 붙여 결론의 수위를 낮춥니다.
섞임이 결과를 흐리는 까닭은 시험 지역의 광고가 기준 지역 사람에게도 닿거나, 기준 지역 사람이 시험 지역에 와서 광고를 보고 예약하기 때문입니다. 기준 지역에도 광고의 효과가 스며들면 두 지역의 차이가 실제보다 작게 나오고, 시험 지역의 예약에 기준 지역 사람이 섞이면 어느 지역의 변화인지 가를 수 없습니다.
매체의 위치 설정도 섞임을 키울 수 있습니다. 구글 도움말은 위치 옵션의 기본값이 타깃 위치에 있거나 자주 있거나 그 위치에 관심을 보인 사람에게 광고를 보여 주는 방식이고, 관심 없이 그 위치에 있거나 자주 있는 사람만 대상으로 삼는 옵션이 따로 있다고 안내합니다. 같은 도움말은 위치를 사용자 설정과 기기, 행동 같은 여러 신호로 판단하므로 모든 경우에 정확하지는 않다고 밝힙니다.
섞임 경로 표의 세 가지
지역 실험을 설계할 때 아래 섞임 경로 표의 세 줄을 하나씩 따집니다.
| 섞이는 길 | 생기는 일 | 줄이는 방법 |
|---|---|---|
| 통근과 생활권 이동 | 기준 지역에 사는 사람이 낮에 시험 지역에서 광고를 봄 | 두 지역 사이에 실험에서 빼는 경계 지역을 둠 |
| 매체의 위치 추정 | 관심만 보인 사람이나 위치를 잘못 추정한 사람에게 광고가 나감 | 위치 옵션을 그 위치에 있는 사람 쪽으로 좁힘 |
| 먼 곳에서의 예약 | 시험 지역 밖 사람이 광고를 보고 예약해 결과에 섞임 | 접수 때 사는 지역을 물어 광고 지역과 따로 셈 |
섞임 경로 표의 첫째 줄은 병원이 가장 먼저 알 수 있는 섞임입니다. 기준 지역과 시험 지역이 지하철 한두 정거장 사이라면, 두 지역 사람은 같은 생활권에서 움직여 광고를 서로의 지역에서 만납니다. 두 지역 사이의 동네를 실험에서 빼면 통근으로 섞이는 사람이 줄어듭니다.
섞임 경로 표의 둘째 줄은 위치 옵션을 좁혀도 없어지지 않습니다. 도움말이 위치 판단이 모든 경우에 정확하지 않다고 밝히므로, 좁힌 뒤에도 남는 섞임은 결과에 한계로 남깁니다.
섞임은 방향도 따집니다. 기준 지역 사람이 시험 지역 광고를 보고 예약하면 시험 지역의 결과가 부풀고, 시험 지역 광고가 기준 지역 사람에게 닿아 그쪽 예약도 늘면 기준 지역의 결과가 부풀어 두 지역의 차이는 줄어듭니다. 어느 쪽으로 기울었는지를 알아야 결론을 얼마나 낮출지 정할 수 있습니다.
섞임 경로 표의 셋째 줄은 광고의 지역이 아니라 사람이 사는 지역으로 결과를 다시 셈하게 합니다. 시험 지역 광고로 들어온 예약 가운데 기준 지역에 사는 사람이 얼마인지를 알면, 섞임이 어느 쪽으로 얼마나 기울었는지를 가늠할 수 있습니다.
지역 실험의 섞임을 줄이는 다섯 단계
- 원장이 시험 지역과 기준 지역을 정하고, 두 지역 사이의 생활권 이동이 큰지를 원무팀장과 함께 가립니다.
- 광고 담당이 두 지역 사이의 동네를 경계 지역으로 정해 실험의 광고 범위에서 빼고, 뺀 동네를 지역 실험 한계 기록표에 남깁니다.
- 광고 담당이 위치 옵션을 그 위치에 있는 사람 쪽으로 좁히고, 바꾼 날을 기록합니다.
- 원무팀장이 실험 기간 동안 접수 때 사는 지역을 묻고, 광고를 본 곳과 사는 곳을 함께 셉니다.
- 광고 담당이 광고 지역별 결과와 사는 지역별 결과를 함께 셈하고, 원장이 두 결과가 같은 방향인지 확인한 뒤 한계와 함께 결론을 정합니다.
첫째 단계에서 생활권 이동을 원무팀장과 함께 가리는 까닭은 어느 동네 사람이 어디로 출퇴근하는지를 병원 접수 기록이 가장 잘 보여 주기 때문입니다. 지난 접수 기록에서 두 지역에 사는 사람이 병원까지 어떻게 오는지를 보면, 두 지역이 한 생활권인지 짐작할 수 있습니다.
둘째 단계에서 경계 지역을 넓게 잡을수록 섞임은 줄지만, 실험에 쓰이는 지역도 줄어 표본이 모자랄 수 있습니다. 경계 지역의 너비는 예시이며 병원이 정합니다.
셋째 단계에서 위치 옵션을 좁히면 광고가 닿는 사람의 수도 줄어, 실험 전 기간의 숫자와 그대로 이어 읽기 어려워집니다. 그래서 위치 옵션을 바꾼 날을 실험의 시작으로 삼고, 그 전의 숫자는 실험 전 기준으로 쓰지 않습니다.
다섯째 단계에서 두 결과를 함께 셈하는 까닭은 광고 지역별 결과만으로는 섞임의 크기를 알 수 없기 때문입니다. 두 결과가 같은 방향이면 섞임이 결론을 뒤집을 만큼 크지 않았다고 판단하고, 방향이 다르면 섞임이 결과를 흐렸다는 한계를 결론보다 앞에 씁니다.
지역 실험 한계 기록표의 네 칸
다섯 단계의 결과는 실험마다 아래 지역 실험 한계 기록표의 네 칸에 남깁니다.
| 칸 | 채우는 내용 | 채우는 사람 |
|---|---|---|
| 지역과 경계 | 시험 지역, 기준 지역, 뺀 경계 지역 | 원장, 광고 담당 |
| 위치 옵션 | 실험에 쓴 위치 옵션과 바꾼 날 | 광고 담당 |
| 사는 지역의 셈 | 광고를 본 곳과 사는 곳이 다른 예약의 수 | 원무팀장 |
| 결론과 한계 | 두 결과의 방향, 남은 섞임, 결론의 수위 | 원장 |
지역 실험 한계 기록표의 넷째 칸은 결론과 한계를 한 칸에 쓰지 않고 나란히 씁니다. 결론만 옮겨지고 한계는 빠진 채 다음 사람에게 전해지는 일을 막으려는 까닭이며, 한계 칸이 비어 있으면 결론도 쓰지 않습니다.
이웃한 두 구로 실험한 피부과 사례
가상의 피부과가 새 광고 문구를 가람구에서만 시험하고, 이웃한 나래구를 기준 지역으로 두려 했습니다. 원무팀장이 지난 접수 기록을 보니 나래구에 사는 환자 가운데 상당수가 가람구의 회사에 다니며 점심시간에 병원을 찾고 있었습니다.
원장은 두 구가 한 생활권이라는 점을 받아들여 기준 지역을 먼 곳으로 옮길지도 따졌지만, 먼 곳은 병원을 알고 찾는 사람이 드물어 비슷한 짝이 되지 못했습니다. 그래서 두 구 사이의 동을 경계 지역으로 빼고 광고 담당에게 위치 옵션을 그 위치에 있는 사람 쪽으로 좁히게 했습니다. 원무팀장은 실험 동안 접수 때 사는 곳과 광고를 본 곳을 함께 묻기 시작했고, 답을 날마다 한 줄씩 기록했습니다.
실험이 끝나자 광고 지역별로는 가람구의 예약이 나래구보다 뚜렷이 늘었지만, 가람구 광고로 들어온 예약 가운데 나래구에 사는 사람이 적지 않았습니다. 사는 지역별로 다시 셈하자 두 구의 차이는 광고 지역별 결과보다 작아졌으나, 가람구 쪽이 늘었다는 방향은 같았습니다.
원장은 새 문구가 나았다는 결론을 내리되, 두 구가 한 생활권이어서 차이의 크기는 믿기 어렵다는 한계를 결론 옆에 남겼습니다. 남은 일은 생활권이 겹치지 않는 먼 두 지역으로 한 번 더 시험할지이고, 원장은 다음 분기에 정하기로 했습니다.
지역 실험 한계 기록표의 인계
담당이 바뀔 때는 지역 실험 한계 기록표와 경계 지역의 목록, 접수 때 사는 곳을 묻는 방식을 한 묶음으로 넘깁니다. 새 담당은 다음 지역 실험을 설계하기 전에 지난 실험에서 두 결과의 방향이 같았는지부터 읽고, 지난 경계 지역을 그대로 쓸 수 있는지 원무팀장과 함께 가립니다.
대행사가 지역별 AI 검색 노출이나 지역 키워드 순위를 성과로 보고할 때도, 두 지역의 사람이 섞인다는 같은 한계가 따릅니다. 그런 보고서를 읽는 법은 GEO 대행 보고서에서 다룹니다.
이웃한 지역의 환자가 같은 병원을 두고 서로 다른 평을 듣는다면, 광고보다 평판의 차이가 두 지역의 결과를 가를 수 있습니다. 지역마다 다른 평판을 읽고 다루는 방법은 병원 평판 관리에서 다룹니다.
지역을 나눈 검색광고 실험 자주 묻는 질문
경계 지역을 빼면 그 동네의 환자에게는 광고가 나가지 않는데 괜찮습니까?
실험 기간 동안 그 동네의 광고가 줄어드는 손실이 있어, 원장이 기간을 짧게 정하는 것으로 줄입니다. 손실이 크다고 판단되면 경계 지역을 두 지역 모두에서 광고를 그대로 내는 곳으로 두고 결과에서만 뺍니다.
네이버 검색광고의 지역 설정도 관심 지역까지 넓혀 광고를 냅니까?
네이버의 지역 설정이 관심 지역을 어떻게 다루는지는 매체 안내에서 찾지 못했습니다. 광고 관리 화면의 안내에서 확인하고, 확인하지 못했다면 네이버 실험의 결과에는 위치 판단의 한계를 함께 밝힙니다.
사는 곳을 묻는 질문이 환자에게 부담이 되지 않습니까?
사는 동이나 구의 이름만 묻고 주소는 받지 않습니다. 광고를 어디서 보았는지를 함께 묻되, 답하지 않아도 되는 질문이라는 것을 먼저 알립니다.
시험 지역과 기준 지역의 인구가 크게 다르면 결과를 견줄 수 있습니까?
인구가 다르면 예약 수를 그대로 견줄 수 없어, 실험 전 같은 길이 기간의 예약에 대한 변화율로 견줍니다. 인구 차이가 너무 크면 비슷한 규모의 지역으로 다시 짝을 짓습니다.
원거리 환자가 많은 병원도 지역 실험을 할 수 있습니까?
먼 곳에서 오는 환자가 많을수록 사는 곳과 광고를 본 곳이 어긋나는 예약이 늘어, 섞임 경로 표의 셋째 줄이 결과를 크게 흐립니다. 이런 병원은 지역 대신 기간을 나누는 실험을 먼저 따집니다.
지역 실험을 그대로 쓰기 어려운 경우
병원이 한 동네에서만 환자를 받는다면 나눌 지역 자체가 좁아, 시험과 기준을 나누면 두 쪽 모두 표본이 모자랍니다. 이때는 지역 실험 대신 앞뒤 기간을 견주고, 그 방식의 한계를 따로 남깁니다.
시험 지역에 병원의 다른 지점이 있다면 광고를 본 사람이 그 지점으로 갈 수 있어, 광고의 효과가 이 병원의 예약에 모두 잡히지 않습니다. 이때는 지점들의 예약을 합쳐 셈하거나, 지점이 없는 지역으로 시험 지역을 옮깁니다.