앞뒤 견주기에 붙는 네 가지 한계
검색광고 실험에 통제군을 남기기 어려울 때는 결과와 함께 외부 변화, 함께 바뀐 설정, 측정의 변화, 재현 가능성의 네 가지 한계를 기록합니다. 통제군 없이 바꾸기 전과 뒤의 기간을 견주면, 두 기간 사이에 달라진 모든 것이 바꾼 것과 함께 결과에 섞입니다. 네 가지 한계는 그 섞인 것을 드러내는 칸이고, 기록이 있어야 결과를 읽는 사람이 결론을 어디까지 믿을지 정할 수 있습니다.
앞뒤 기간 견주기로 낼 수 있는 결론은 바꾼 것이 나았다가 아니라, 바꾼 뒤 기간이 나았다까지입니다. 같은 기간에 바꾸지 않은 쪽을 함께 돌렸다면 계절과 요일, 경쟁 광고, 병원 밖의 사정이 두 쪽에 똑같이 닿지만, 앞뒤 기간에서는 이것들이 모두 바꾼 것과 함께 움직입니다. 한계 기록지는 이 결론의 수위를 결과 옆에 함께 남기는 문서입니다.
통제군을 남기기 어려운 까닭도 기록지의 첫 줄에 씁니다. 캠페인이 하나뿐이라 나눌 곳이 없었는지, 연락이 적어 나누면 한쪽이 판단할 만큼 모이지 않았는지, 매체가 캠페인을 나눠 함께 돌리는 기능을 주지 않았는지에 따라 다음 실험에서 통제군을 만들 길이 달라집니다.
한계 기록지의 네 가지 한계
| 한계 | 기록할 것 | 자료 |
|---|---|---|
| 외부 변화 | 두 기간의 계절, 휴진, 언론 보도, 경쟁 광고의 변화 | 병원 일정, 경매 통계 |
| 함께 바뀐 설정 | 시험한 것 말고 두 기간 사이에 바뀐 설정 | 매체 변경 기록 |
| 측정의 변화 | 전환 설정, 추적 기간, 세는 방식의 변화와 전환 지연 | 전환 설정 화면, 접수 기록 |
| 재현 가능성 | 같은 변경을 다시 했을 때 같은 방향이 나오는지 | 되돌렸다가 다시 적용한 기간의 기록 |
네 가지 한계 표의 첫째 줄과 둘째 줄은 결과에 섞인 다른 원인을, 셋째 줄은 결과를 잰 자의 변화를 기록합니다. 셋째 줄에서 바꾼 뒤 기간을 끝낸 날 바로 세면, 며칠 고민하고 연락한 사람의 전환이 아직 들어오지 않아 뒤 기간이 실제보다 나쁘게 나올 수 있으므로 두 기간 모두 추적 기간이 지난 뒤에 셉니다.
첫째 줄의 경쟁 광고 변화는 병원 기록에 남지 않으므로 매체의 자료에서 찾습니다. 구글 광고라면 경매 통계에서 두 기간에 함께 나온 다른 광고주가 새로 늘었는지 줄었는지를 찾아 외부 변화 칸에 씁니다. 두 기간 사이에 새 광고주가 나타났다면, 바꾼 뒤 기간의 결과에는 그 광고주와 나눠 가진 노출의 변화도 함께 들어 있습니다.
넷째 줄의 재현은 통제군이 없는 실험이 결론을 한 단계 끌어올릴 수 있는 길입니다. 바꾼 것을 되돌린 기간에 결과가 다시 예전으로 돌아가고, 다시 적용한 기간에 다시 나아진다면 외부 변화만으로는 설명하기 어려워집니다. 다만 되돌리는 동안 병원이 잃을 수 있는 연락이 있으므로, 되돌릴지는 원장이 정합니다.
한계 기록지를 쓰는 다섯 단계
- 광고 담당 실장이 실험을 시작하기 전에 바꿀 것 하나, 두 기간의 길이, 통제군을 남기지 못한 까닭을 한계 기록지에 씁니다.
- 원무팀장이 두 기간의 휴진, 진료 일정 변경, 병원 밖에서 연락이 늘거나 줄 만한 일을 날짜와 함께 씁니다.
- 광고 담당 실장이 두 기간 사이의 매체 변경 기록과 전환 설정의 변화를 찾아 씁니다.
- 광고 담당 실장이 두 기간 모두 추적 기간이 지난 뒤 결과를 세고, 결론을 바꾼 뒤 기간의 변화라는 수위로 씁니다.
- 원장이 결과와 네 가지 한계를 함께 읽고, 바꾼 것을 유지할지와 되돌려 재현을 시험할지를 정합니다.
첫째 단계를 실험 전에 하는 것은, 결과를 본 뒤에 기간이나 바꿀 것을 정하면 결과에 맞춰 기록지를 쓰게 되기 때문입니다. 두 기간의 길이는 같게 하고, 요일 구성도 같게 맞춥니다.
둘째 단계를 원무팀장이 맡는 것은 외부 변화의 많은 부분이 광고 쪽 기록에 남지 않기 때문입니다. 의료진 한 명의 휴가, 근처 병원의 개원이나 폐업, 지역 소식에 병원이 나온 날은 접수 창구에서 먼저 알게 되고, 이런 일은 광고를 바꾸지 않아도 연락 수를 움직입니다.
셋째 단계에서 매체 변경 기록을 찾는 것은, 시험한 것 말고도 대행사나 매체의 자동 적용이 두 기간 사이에 설정을 바꿨을 수 있기 때문입니다. 찾은 변경은 한계 기록지의 둘째 줄에 날짜와 함께 쓰고, 그 변경이 시험한 것보다 결과에 더 크게 닿았을 수 있는지를 결론 옆에 밝힙니다.
넷째 단계의 결론 수위를 정해진 문장으로 쓰는 것은, 보고가 여러 사람을 거치며 결론이 조금씩 올라가는 것을 막기 위해서입니다. 바꾼 뒤 기간이 나았다는 문장이 다음 보고에서 바꾼 것이 통했다로 바뀌면, 한계 기록지의 네 줄은 결론에서 떨어져 나갑니다.
한계 기록지의 다섯 칸
| 칸 | 쓰는 것 | 쓰는 사람 |
|---|---|---|
| 설계 | 바꿀 것, 두 기간, 통제군을 남기지 못한 까닭 | 광고 담당 실장 |
| 외부 변화 | 병원 일정과 병원 밖의 일, 날짜 | 원무팀장 |
| 설정과 측정 | 함께 바뀐 설정, 전환 설정의 변화 | 광고 담당 실장 |
| 결과와 수위 | 두 기간의 결과, 바꾼 뒤 기간의 변화라는 결론 | 광고 담당 실장 |
| 판단 | 유지·되돌림·재현 시험 가운데 원장의 결정 | 원장 |
결과와 수위 칸의 결론은 정해진 문장으로 씁니다. 바꾼 것 때문에 나아졌다고 쓰지 않고, 바꾼 뒤 기간의 결과가 바꾸기 전보다 어떠했으며 그 사이에 기록지의 어떤 한계가 있었다고 씁니다. 다만 두 기간 사이에 예산이나 입찰가, 키워드처럼 시험한 것 말고 광고 설정이 바뀌었다면, 시험한 것과 그 설정이 한 덩어리가 되므로 이 칸에 결론을 쓰지 않고 두 기간의 숫자와 바뀐 설정만 남깁니다.
이 결론을 다른 광고 성과와 함께 원장에게 보고하는 방식은 병원 광고 성과 분석에서 이어서 읽을 수 있습니다.
한계 기록지를 채운 예
아래는 한 이비인후과의원이 광고 문구 하나를 바꾸며 채운 한계 기록지를 가상으로 꾸민 예이며, 건수와 기간은 모두 설명을 위한 예시입니다. 검색 캠페인이 하나뿐이고 한 달 유효 연락이 20건 안팎이어서 나누면 한쪽이 판단할 만큼 모이지 않아, 설계 칸에 통제군을 남기지 못한 까닭으로 이를 썼습니다. 두 기간은 바꾸기 전 4주와 바꾼 뒤 4주로 정했습니다.
원무팀장은 외부 변화 칸에 바꾼 뒤 4주 가운데 첫 주에 환절기로 감기 진료 연락이 늘었다는 것과, 셋째 주에 의료진 한 명이 사흘 휴가였다는 것을 썼습니다. 광고 담당 실장은 설정과 측정 칸에 두 기간 사이 매체 변경 기록에서 대행사가 입찰가를 한 번 올린 날을 찾아 썼고, 전환 설정은 바뀌지 않았다고 썼습니다.
두 기간 모두 추적 기간이 지난 뒤 세니 유효 연락은 바꾸기 전 4주 20건, 바꾼 뒤 4주 24건이었습니다. 두 기간 사이에 입찰가가 바뀌었으므로, 결과와 수위 칸에는 결론을 쓰지 않고 두 기간의 숫자와 환절기, 입찰가 인상만 남겼습니다.
예에서 기록지가 원장에게 전한 것
기록지만 읽어도 4건의 차이를 문구 하나의 결과로 읽을 수 없다는 것이 드러났습니다. 환절기의 감기 연락과 입찰가 인상은 둘 다 문구와 상관없이 연락을 늘릴 수 있는 일이었고, 셋째 주의 휴가는 반대로 연락을 줄였을 수 있었습니다.
원장은 바꾼 문구를 유지하되, 입찰가 인상이 없는 기간에 문구를 한 번 되돌렸다가 다시 적용하는 재현 시험을 하도록 정했습니다. 되돌리는 기간은 환절기가 지난 뒤 2주로 하고, 되돌리는 동안에도 기록지의 다섯 칸을 같은 방식으로 채우게 했습니다.
이 예의 기록지는 대행사의 입찰가 변경을 찾아낸 것으로도 쓸모가 있었습니다. 원장은 실험 기간에는 시험한 것 말고 다른 설정을 바꾸기 전에 광고 담당 실장에게 먼저 알리도록 대행사에 요청하게 했습니다.
통제군 없는 검색광고 실험 자주 묻는 질문
지난해 같은 달과 견주면 계절 차이는 없어지나요?
계절은 비슷해지지만 한 해 사이에 바뀐 광고 설정, 경쟁 병원, 병원의 진료 일정이 모두 섞이므로 한계는 줄지 않습니다. 지난해 같은 달을 쓴다면 그 한 해 사이의 변화를 설정과 측정 칸과 외부 변화 칸에 함께 씁니다.
실험 도중 휴진처럼 큰 외부 변화가 생기면 멈춰야 하나요?
멈출지는 원장이 정합니다. 멈추지 않는다면 그 날짜를 외부 변화 칸에 쓰고, 결과를 셀 때 그 기간을 뺀 결과를 함께 써서 두 숫자를 나란히 보고합니다.
지역을 나눠 한쪽에만 바꾸면 통제군이 되나요?
한 지역에서 환자를 받는 병원은 지역을 나누면 두 쪽의 검색하는 사람이 달라, 두 쪽의 차이가 바꾼 것 때문인지 지역 때문인지 가르기 어렵습니다. 그렇게 나눴다면 지역 차이를 외부 변화 칸의 한 줄로 기록합니다.
결과가 나빠졌을 때도 같은 기록지를 쓰나요?
씁니다. 바꾼 뒤 기간이 나빠진 결과도 같은 네 가지 한계가 섞여 있으므로, 바꾼 것 때문이라고 단정하지 않고 결과와 수위 칸에 같은 수위로 씁니다.
재현 시험 없이 유지하기로 하면 무엇을 남기나요?
판단 칸에 재현 시험 없이 유지했다는 사실과 그 까닭을 씁니다. 나중에 같은 종류의 변경을 할 때 이 기록지를 먼저 읽고, 그때의 결론이 바꾼 뒤 기간의 변화에 그쳤다는 점을 기억해 설계합니다.
기록을 달리하는 경우
매체가 한 캠페인을 나눠 함께 돌리는 기능을 주고 연락도 나눌 만큼 모인다면, 통제군을 남기는 설계를 먼저 씁니다. 그 경우에도 기록지의 측정의 변화 칸은 같이 채웁니다.
바꾼 것이 연결 페이지처럼 광고 밖의 요소라면, 광고 쪽 변경 기록만으로는 둘째 줄을 채울 수 없습니다. 홈페이지의 수정 기록도 두 기간에 걸쳐 찾아 설정과 측정 칸에 함께 씁니다.
바꾼 것이 입찰 전략이나 새 소재처럼 처음 며칠 적응 기간이 있을 수 있는 것이라면, 바꾼 뒤 기간의 첫 며칠을 결과에 넣을지 뺄지를 실험 전에 설계 칸에 정합니다. 결과를 본 뒤에 첫 며칠을 빼면 결과에 맞춰 기간을 고른 셈이 됩니다.