광고 중단 전후 비교로 증분 효과를 읽을 때의 한계

전후 비교가 말할 수 있는 것과 말할 수 없는 것

광고를 멈춰 앞뒤를 견주는 방법은 병원이 할 수 있는 가장 쉬운 증분 확인이어서 자주 쓰입니다. 광고를 멈춘 동안 예약이 얼마나 줄었는지를 보면 광고가 그만큼을 데려오고 있었다고 읽고 싶어집니다. 하지만 멈춘 기간과 나간 기간은 날짜가 다르고, 날짜가 다르면 광고 말고도 달라지는 것이 많습니다. 같은 기간에 광고를 나간 쪽과 멈춘 쪽으로 나눠 견주는 방법과 달리, 앞뒤를 견주는 방법에는 그 차이를 걸러 낼 장치가 없습니다.

그렇다고 이 결과를 버릴 필요는 없습니다. 멈춘 기간에 전체 예약이 크게 줄었다는 관측은 광고가 무엇인가를 하고 있었다는 방향의 근거가 됩니다. 다만 줄어든 크기를 광고의 효과로 옮겨 예산을 정하는 일은, 섞인 네 가지를 가리지 못한 만큼 근거가 약합니다.

멈춘 기간과 나간 기간 사이에 통제되지 않는 네 가지

네 가지 표의 넷째 열이 보고서의 한계 칸에 그대로 옮겨집니다. 셋째 열의 자료로 네 가지를 조금씩 가늠할 수는 있지만, 어느 것도 멈춘 기간의 차이에서 그 변화만을 떼어 내 주지는 않습니다. 그래서 자료로 가늠한 것과 가늠하지 못한 것을 나눠 쓰는 것이 이 결과의 결론을 지키는 방법입니다.

네 가지 표의 둘째 줄인 경쟁은 병원 자신의 중단이 만든 변화이기도 합니다. 병원이 광고를 멈추면 그 노출을 다른 병원의 광고가 채우고, 검색한 사람은 광고 없이도 다른 병원을 먼저 보게 됩니다. 멈춘 기간의 예약 감소에는 병원 광고가 없어진 결과와 경쟁 광고가 더 잘 보인 결과가 함께 들어 있습니다.

한계를 보고서에 밝히는 다섯 단계

1. 광고 담당 실장이 차이를 셈하기 전에 네 가지 표를 설계서에 옮기고, 항목마다 가늠할 자료를 정합니다.
2. 광고 담당 실장이 두 기간의 월간 검색수와 검색어 추이를 받아 자연 수요와 계절이 움직인 방향을 씁니다.
3. 원무 담당이 두 기간의 예약을 알게 된 곳으로 나눠 세고, 광고 담당 실장이 블로그와 지도 정보, 평판에 닿는 일이 그 사이에 있었는지 변경 기록에서 찾습니다.
4. 광고 담당 실장이 멈추기 전과 다시 시작한 뒤의 경매 통계를 받아 경쟁의 변화를 쓰고, 멈춘 기간은 볼 수 없었다고 밝힙니다.
5. 광고 담당 실장이 결과를 두 기간의 차이로 쓰고 항목마다 가늠한 것과 가늠하지 못한 것을 옆에 실어 원장에게 올리며, 원장이 그 무게로 다음 판단을 정합니다.

첫째 단계를 차이를 셈하기 전에 하는 까닭은, 결과를 본 뒤에 한계를 쓰면 원하는 결론에 맞는 한계만 남기게 되기 때문입니다. 예약이 크게 줄어 광고가 필요하다는 결론을 원할 때는 수요 감소를, 결론이 반대일 때는 경쟁 변화를 빼고 쓰기 쉽습니다.

둘째 단계의 자료는 방향을 가늠하는 데 쓰고 크기를 빼는 데 쓰지 않습니다. 검색수가 줄어든 비율만큼 예약 감소를 깎아 광고의 효과를 셈하면, 검색수와 예약의 관계가 늘 같은 비율이라는 가정을 새로 들이는 셈이어서 또 하나의 짐작이 결과에 섞입니다.

셋째 단계의 평판에 닿는 일은 광고 담당 실장이 놓치기 쉬운 변화입니다. 후기나 보도처럼 병원 이름으로 찾는 사람을 바꾸는 일이 멈춘 기간에 있었다면, 광고 밖 경로의 예약이 달라진 까닭이 광고 중단인지 평판인지를 가를 수 없습니다. 평판에 닿는 일을 다루는 방법은 병원 평판 관리에서 따로 다룹니다.

차이의 크기를 증분 효과로 쓰지 않는 까닭

멈춘 첫 며칠에는 전에 광고를 본 사람이 뒤늦게 예약해, 멈춘 기간의 감소가 실제보다 작게 나옵니다. 중단이 짧을수록 이 남은 영향이 기간에서 차지하는 비중이 커져, 짧게 멈춘 비교는 광고가 하던 일을 작게 읽는 쪽으로 기웁니다.

다시 시작한 뒤의 변화도 멈출 때의 변화와 같은 크기로 돌아오지 않을 수 있습니다. 멈춘 동안 다른 병원을 먼저 알게 된 사람은 광고가 다시 나가도 돌아오지 않을 수 있고, 광고 담당 실장이 다시 시작하며 문구나 입찰을 함께 고치면 두 변화가 섞입니다. 다시 시작한 뒤의 기간은 멈추기 전과 같은 설정으로 운영해야 앞뒤를 맞댈 수 있고, 다시 시작한 날도 멈춘 날처럼 날과 시각을 기록합니다.

그래서 한 번의 결과는 방향의 근거로만 쓰고, 조건이 다른 때에 같은 범위로 한 번 더 견줘 방향이 같을 때 무게를 더합니다. 멈춰 견준 결과를 다른 성과 자료와 함께 읽는 방법은 병원 광고 성과 분석에서 다룹니다.

중단 전후 결과를 보고할 때 자주 틀리는 경우

자주 틀리는 경우 표의 첫째 줄은 결과를 광고비 판단으로 곧바로 옮기게 만듭니다. 줄어든 예약을 광고의 효과로 쓰면 그 숫자로 광고비를 나눠 예약 한 건의 값을 셈하게 되고, 섞인 변화의 크기만큼 틀린 값이 예산 판단에 들어갑니다.

자주 틀리는 경우 표의 둘째 줄은 광고를 줄이고 싶을 때 쉽게 나오는 문장입니다. 멈춘 동안 광고 밖 경로의 예약이 늘어 전체가 그대로였다면, 광고를 보던 사람이 다른 길로 왔을 수도 있고 그 기간에 병원을 찾는 사람 자체가 늘었을 수도 있습니다. 두 경우는 광고가 필요한지에 대해 서로 반대의 답을 주는데, 한 번 멈춰 견준 결과로는 둘을 가르지 못합니다.

자주 틀리는 경우 표의 넷째 줄은 가늠하지 못한 것을 가늠한 것처럼 쓴 경우입니다. 멈춘 기간의 경쟁은 병원이 볼 수 없는 자료여서, 보이지 않았다는 사실을 그대로 쓰는 것이 결론을 지키는 방법입니다.

중단 전후 결과를 증분 판단에 쓰기 어려운 경우