병원 규모가 다른 계정의 검색광고 실험, 묶기 전 조건을 합의하는 법

묶기 전에 합의할 네 가지

무게를 먼저 정하는 까닭은 계정의 규모가 다르면 묶은 숫자가 큰 계정의 결과를 그대로 따라가기 때문입니다. 클릭을 모두 더해 한 번에 전환율을 셈하면, 클릭이 여덟 배 많은 계정의 변화가 묶은 숫자를 거의 정하고 작은 계정의 변화는 묻힙니다. 작은 계정에서는 결과가 반대로 나왔더라도 묶은 숫자에는 드러나지 않습니다.

무게를 주는 방식을 바꾸면 같은 숫자에서 다른 결론이 나올 수 있습니다. 클릭을 모두 더한 결과는 새 방식이 낫다고 말하는데, 계정마다 같은 무게로 본 결과는 차이가 없다고 말하는 일이 생깁니다. 두 결론 가운데 어느 것을 쓸지를 결과를 본 뒤 정하면, 병원들은 서로 원하는 결론을 고집하게 됩니다.

그래서 묶은 결과와 함께 계정마다의 결과를 늘 나란히 보고합니다. 묶은 숫자는 전체의 흐름을, 계정마다의 숫자는 그 흐름이 모든 병원에 맞는지를 보여 주어, 두 숫자가 같은 방향일 때에만 모든 병원에 같은 결정을 내립니다.

묶음 합의 표의 네 가지

실험을 시작하기 전에 아래 묶음 합의 표의 네 줄을 병원들이 함께 정합니다.

묶음 합의 표의 첫째 줄은 어느 쪽이 옳다기보다 무엇을 묻는지에 따라 정합니다. 병원 전체에서 광고 한 번이 얼마를 벌어 주는지를 묻는다면 클릭을 더하는 방식이 맞고, 병원 하나하나에 같은 방식을 권해도 되는지를 묻는다면 계정마다 같은 무게로 보는 방식이 맞습니다.

묶음 합의 표의 둘째 줄은 이름이 같다고 같은 것을 세지 않을 수 있어 따로 맞댑니다. 한 병원은 예약 완료를, 다른 병원은 예약 화면 열람을 전환으로 세고 있다면, 두 계정의 전환율은 처음부터 다른 높이에서 출발합니다.

묶음 합의 표의 넷째 줄의 최소치는 예시이며 병원이 정합니다. 작은 계정이 최소치를 채우지 못하면 그 계정은 묶음에서 빼거나 실험 기간을 늘리고, 뺀 사실을 보고에 밝힙니다.

실험을 묶기 전에 합의하는 다섯 단계

1. 실험을 제안한 쪽이 실험의 물음을 한 문장으로 쓰고, 참여할 병원들에 돌립니다.
2. 병원마다 광고 담당이 자기 계정의 전환 정의와 기여 방식, 실험할 진료의 예약 가능 시간을 묶음 합의 표에 옮깁니다.
3. 원장들이 묶음 합의 표의 네 줄을 정하고, 목표의 정의가 다른 계정은 정의를 맞출지 묶음에서 뺄지를 정합니다.
4. 광고 담당들이 실험이 끝나면 계정마다의 결과와 합의한 방식으로 묶은 결과를 함께 셈합니다.
5. 원장들이 두 결과가 같은 방향인지 확인하고, 방향이 다른 계정은 따로 판단합니다.

첫째 단계에서 물음을 한 문장으로 쓰는 까닭은 묶음 합의 표의 첫째 줄이 그 물음에 따라 정해지기 때문입니다. 병원 전체의 효율을 묻는 실험과 병원마다의 권고를 묻는 실험은 무게를 주는 방식이 달라, 물음이 흐리면 무게도 정할 수 없습니다.

둘째 단계에서 예약 가능 시간을 함께 옮기는 까닭은 광고가 같아도 예약을 받을 수 있는 시간이 다르면 전환율이 달라지기 때문입니다. 저녁 진료를 하는 병원과 하지 않는 병원이 저녁 진료를 앞세운 문구를 함께 시험하면, 문구의 차이가 아니라 진료 시간의 차이가 결과를 가릅니다.

셋째 단계에서 정의가 다른 계정을 빼는 쪽도 열어 두는 까닭은 정의를 실험 도중 맞추면 그 계정의 앞뒤 숫자가 다른 것을 세게 되기 때문입니다. 정의를 맞출 수 있다면 실험 시작 전에 맞추고, 그럴 수 없다면 그 계정은 따로 실험합니다.

넷째 단계에서 계정마다의 결과를 먼저 셈하는 까닭은 묶은 결과가 먼저 나오면 계정마다의 결과를 그 숫자에 맞춰 읽게 되기 때문입니다. 계정마다의 숫자를 먼저 표에 채우고, 합의한 방식으로 묶은 숫자는 그 아래에 씁니다.

다섯째 단계에서 방향이 다른 계정을 따로 판단하는 까닭은 묶은 결과가 좋게 나와도 그 계정에서는 실험한 방식이 오히려 나빴을 수 있기 때문입니다. 그 계정에 같은 방식을 권하기 전에, 진료 조건이나 표본에서 까닭을 먼저 찾습니다.

묶음 합의 기록표의 네 칸

합의한 내용은 실험마다 아래 묶음 합의 기록표의 네 칸에 남기고, 참여한 병원이 모두 한 부씩 가집니다.

묶음 합의 기록표의 첫째 칸은 실험이 끝난 뒤 고치지 않습니다. 결과를 본 뒤 무게를 주는 방식을 바꾸고 싶어지면, 바꾼 방식의 결과를 따로 셈해 원래 방식의 결과와 나란히 밝히고, 원래 합의가 무엇이었는지는 지우지 않습니다.

두 병원의 공동 실험 합의 기록표 예시

아래는 규모가 다른 가상의 두 치과가 같은 설명 문구를 시험하고 남긴 묶음 합의 기록표의 예시이며, 숫자는 셈을 보이기 위한 예시입니다. 물음은 새 설명 문구를 두 병원에 모두 권해도 되는지였고, 원장들은 계정마다 같은 무게로 보는 방식을 합의했습니다.

큰 병원은 대조와 시험에 클릭이 사천 번씩 들어가 대조의 전환이 백육십 건으로 사 퍼센트, 시험의 전환이 이백 건으로 오 퍼센트였습니다. 작은 병원은 클릭이 오백 번씩 들어가 대조의 전환이 서른 건으로 육 퍼센트, 시험의 전환이 스물다섯 건으로 오 퍼센트였습니다.

클릭을 모두 더해 셈하면 대조는 사천오백 번에 백구십 건으로 사 점 이 퍼센트쯤, 시험은 사천오백 번에 이백이십오 건으로 오 퍼센트여서 새 문구가 나은 것처럼 읽힙니다. 그러나 합의한 대로 계정마다 같은 무게로 보면 큰 병원은 일 퍼센트포인트 올랐고 작은 병원은 일 퍼센트포인트 내려, 두 변화의 평균은 영이었습니다.

원장들은 새 문구를 큰 병원에만 쓰기로 했습니다. 작은 병원에서 내려간 까닭은 기록에 남은 진료 조건에서 찾았는데, 작은 병원은 새 문구가 앞세운 저녁 진료를 하지 않는 요일이 있었습니다. 작은 병원에 맞는 문구는 저녁 진료를 앞세우지 않는 다른 문구로 따로 실험하기로 하고, 그 결정을 묶음 합의 기록표의 결과 칸에 남겼습니다.

묶음 합의 기록표의 인계

담당이 바뀔 때는 묶음 합의 기록표와 참여한 병원들의 연락처, 계정마다의 전환 정의 기록을 한 묶음으로 넘깁니다. 실험에 참여한 병원이 바뀌었다면 그 병원의 전환 정의부터 새로 받습니다. 새 담당은 다음 공동 실험을 제안하기 전에 지난 합의 기록표의 무게 방식과 방향이 다른 계정의 처리를 먼저 읽습니다.

여러 병원이 함께 실험하는 일은 광고 한 가지를 넘어 병원들이 어떤 방향으로 함께 갈지와 이어집니다. 병원 광고의 방향을 세우는 일은 병원마케팅 전략에서 다룹니다.

규모가 다른 병원은 평판이 쌓인 정도도 달라, 같은 문구가 다른 반응을 부를 수 있습니다. 광고 밖의 평판 차이를 읽고 다루는 방법은 병원 평판 관리에서 다룹니다.

합의를 그대로 쓰기 어려운 경우