나눈 것은 기회이고 숫자는 그 결과
검색광고 실험의 배분 비율이 설정과 다르게 보이면, 먼저 설정대로 나뉘지 않은 이상인지 두 쪽이 같은 기회에서 다른 결과를 낸 정상 변동인지를 가립니다. 그 순서는 설정, 게재된 날, 기본 캠페인 변경, 표본 조건입니다. 구글 도움말은 맞춤 실험의 분할을 트래픽과 예산 기준의 비율로 정한다고 설명할 뿐, 노출이나 클릭이 그 비율대로 똑같이 나뉜다고 안내하지 않습니다. 실험 쪽이 입찰이나 소재를 바꾸었다면 같은 크기의 기회를 받고도 노출과 클릭은 달라지는 것이 자연스러워, 숫자 하나가 비율과 다르다는 것만으로 배분이 틀렸다고 판단하지 않습니다.
도움말은 검색 캠페인의 분할을 두 가지로 안내합니다. 쿠키 기반은 권장 방식으로 사용자를 실험이나 기존 캠페인에 임의로 할당해 한 사용자에게 한쪽만 보이게 하고, 검색 기반은 검색이 일어날 때마다 임의로 할당해 같은 사용자가 두 쪽을 모두 볼 수 있습니다. 기존 캠페인과 실험을 견주기 좋게 비율은 쉰 퍼센트를 쓰는 것이 좋다고도 권합니다.
성과를 견주기 전에 이 순서를 먼저 밟는 까닭은 배분이 흔들린 실험의 성과 차이가 개선의 효과인지 나눔의 치우침인지 가를 수 없기 때문입니다. 배분의 무결성은 성과 비교의 전제입니다.
배분 차이 판정표
| 순서 | 묻는 것 | 답하는 사람 | 그렇다면 | 아니라면 |
|---|---|---|---|---|
| 첫째 | 광고 관리 화면의 분할 비율과 분할 방식이 원장이 승인한 실험 계획과 같은가 | 홍보 담당 | 둘째 물음으로 | 계획과 다른 설정으로 기록 |
| 둘째 | 견준 기간이 두 쪽 모두 게재된 온전한 날로만 되어 있는가 | 홍보 담당 | 셋째 물음으로 | 게재된 날로 기간을 다시 자름 |
| 셋째 | 그 기간에 기존 캠페인에만 들어간 변경이 없는가 | 홍보 담당 | 넷째 물음으로 | 변경 날짜로 구간을 나눔 |
| 넷째 | 쿠키 기반에 잠재고객 목록을 쓴다면 그 목록이 만 명 이상인가 | 홍보 담당 | 경매 결과의 차이로 기록하고 비교 진행 | 결과를 참고로만 씀 |
배분 차이 판정표는 위에서부터 묻고 판정이 나오면 멈춥니다. 어느 실험이든 계획과 다른 설정으로 기록, 게재된 날로 기간을 다시 자름, 변경 날짜로 구간을 나눔, 결과를 참고로만 씀, 경매 결과의 차이로 기록하고 비교 진행의 다섯 판정 가운데 하나로 끝납니다. 자르거나 나눈 뒤에는 그 구간으로 다음 물음부터 이어 묻습니다. 넷째 물음에서 잠재고객 목록을 쓰지 않는 실험은 그렇다로 답합니다.
첫째 물음을 맨 앞에 두는 까닭은 화면의 설정이 계획과 다르면 뒤의 물음이 모두 다른 실험을 두고 답하는 셈이 되기 때문입니다. 계획은 쉰 퍼센트였는데 화면은 다른 비율이거나, 계획은 쿠키 기반이었는데 검색 기반으로 만들어졌다면 그 실험은 원장이 승인한 실험이 아니며, 성과를 견주기 전에 원장이 그대로 이어 갈지 정합니다.
둘째 물음이 필요한 까닭은 두 쪽이 같은 날부터 게재되지 않을 수 있기 때문입니다. 도움말은 기존 캠페인의 크기에 따라 실험 광고가 검토를 거쳐 게재되기까지 시간이 걸릴 수 있고, 기존 캠페인이 일시중지되거나 비활성 상태이면 실험이 실행되지 않아 노출이 게재되지 않는다고 안내합니다. 실험 쪽 광고가 검토 중이던 첫 며칠을 기간에 넣으면 실험 쪽 숫자만 작게 나와 배분이 기운 것처럼 나타납니다.
셋째 물음은 변경이 한쪽에만 닿는 구조에서 나옵니다. 도움말은 기존 캠페인에 적용한 변경사항이 실험에는 반영되지 않고, 실험이 도는 동안 어느 쪽이든 변경하면 결과를 해석하기 어려워질 수 있다고 밝힙니다.
집단별 표본 기록표
| 칸 | 채우는 값 | 얻는 곳 |
|---|---|---|
| 분할 비율과 방식 | 계획서의 값과 화면의 값을 나란히 | 실험 설정 |
| 온전한 날 | 두 쪽 모두 광고가 게재된 날짜 | 실험 스코어카드와 시계열 차트 |
| 두 쪽의 노출과 클릭과 비용 | 같은 날짜 범위의 합계와 날짜별 값 | 실험 요약 표 |
| 기존 캠페인만 바뀐 날 | 변경 일시와 바꾼 항목 | 변경 내역 |
| 잠재고객 목록 크기 | 쿠키 기반에 목록을 쓸 때의 사용자 수 | 잠재고객 목록 화면 |
| 판정 | 배분 차이 판정표의 결과와 날짜 | 홍보 담당이 쓰는 기록 |
집단별 표본 기록표의 둘째 줄과 셋째 줄은 같은 날짜 범위로 채웁니다. 도움말은 스코어카드의 실적 비교가 실험 시작일과 종료일 안에 있으면서 표에서 선택한 기간에 드는 날의 스물네 시간 전체를 쓴다고 설명하므로, 두 쪽의 합계를 서로 다른 범위로 뽑아 견주지 않습니다.
같은 표 셋째 줄에 비용을 함께 쓰는 까닭은 도움말이 실험에 할당할 기존 캠페인 예산의 비율을 정한다고 설명하기 때문입니다. 다만 하루예산이 다 쓰이지 않는 캠페인이라면 비용도 두 쪽의 경매 결과를 따라 움직이므로, 비용의 비율이 설정과 다르다는 것만으로 배분 이상이라 판정하지 않습니다.
여섯째 줄의 판정은 성과 비교 보고서의 첫 줄로 올립니다. 배분이 흔들린 구간을 떼어 냈다면 그 구간과 까닭을 함께 쓰고, 남은 구간으로 성과를 견줍니다.
배분 차이를 가리는 차례
- 홍보 담당이 실험 설정 화면의 분할 비율과 방식을 원장이 승인한 실험 계획과 맞대 첫째 물음에 답합니다.
- 홍보 담당이 시계열 차트에서 두 쪽 모두 노출이 있던 첫날과 끊긴 날을 찾아 둘째 물음에 답하고, 온전한 날만 남깁니다.
- 홍보 담당이 변경 내역에서 실험 기간 안에 기존 캠페인에만 들어간 변경을 찾아 셋째 물음에 답합니다.
- 홍보 담당이 쿠키 기반과 잠재고객 목록 사용 여부로 넷째 물음에 답하고, 판정과 남은 구간의 두 쪽 숫자를 원장에게 올립니다.
넷째 단계에서 원장에게 올리는 숫자는 배분을 가린 뒤의 숫자여서, 그때부터 성과 비교를 시작할 수 있습니다. 그 비교에서 광고 성과를 무엇으로 판단할지는 병원 광고 성과 분석에서 다룹니다.
원장에게 올리는 배분 한 줄
원장이 성과 차이보다 먼저 읽을 수 있게, 홍보 담당은 비교 보고서 맨 위에 배분 판정을 한 줄로 씁니다. 예를 들면 설정은 계획과 같음, 실험 광고 검토로 첫 사흘을 뺌, 기존 캠페인 변경 없음, 목록 사용 안 함, 남은 날의 노출 차이는 경매 결과로 기록함처럼 판정표의 네 물음에 순서대로 답한 꼴입니다. 이 줄이 없으면 성과 차이를 읽는 사람이 배분 차이를 다시 따지게 됩니다.
실험 배분 비율 자주 묻는 질문
실험 결과가 좋으면 기존 캠페인에 어떻게 반영합니까?
도움말은 실험을 기존 캠페인에 적용해 시험하던 변경을 옮기거나, 실험을 새 캠페인으로 전환할 수 있다고 안내합니다. 두 경우 모두 실험의 실적 데이터는 그대로 보존되므로, 배분 판정 기록도 그 실험 이름으로 함께 남깁니다.
스코어카드에 숫자 대신 줄표가 나오면 무엇을 뜻합니까?
도움말은 기존 캠페인이나 실험에 쓸 수 있는 데이터가 충분하지 않으면 실적 차이와 그 범위 칸에 줄표가 표시된다고 설명합니다. 배분을 판정하기 전에 표본이 모이기를 기다립니다.
신뢰 구간은 몇 퍼센트로 보여 줍니까?
도움말은 기본 신뢰 구간이 팔십 퍼센트이고 광고주가 직접 고를 수 있으며, 결과가 통계적으로 유의하면 파란색 별표가 표시된다고 안내합니다. 병원은 보고서에 어느 신뢰 구간으로 읽었는지를 함께 씁니다.
통계적으로 유의미하지 않다고 나오는 까닭에는 무엇이 있나요?
도움말은 실험 기간이 충분하지 않은 경우, 캠페인 트래픽이 충분하지 않은 경우, 트래픽 분할이 너무 작아 실험 쪽 트래픽이 모자란 경우, 적용한 변경이 차이를 만들지 않은 경우를 듭니다. 충분한 데이터를 모으려면 실험을 두세 주 돌리는 것이 좋다고 권합니다.
실험은 한 캠페인에 몇 개까지 돌릴 수 있습니까?
도움말은 캠페인마다 실험을 최대 다섯 개까지 예약할 수 있지만 한 번에 하나만 실행할 수 있다고 안내합니다. 앞 실험의 끝과 다음 실험의 시작이 겹치지 않게 날짜를 정해야 두 실험의 배분이 섞이지 않습니다.
판정표를 그대로 쓰기 어려운 경우
실험 기간 안에 광고 정책 문제로 일부 키워드가 실험에 복사되지 않았다면 두 쪽이 받는 검색의 범위부터 다릅니다. 도움말은 정책을 위반한 키워드가 실험에 복사되지 않는다고 안내하므로, 홍보 담당은 두 쪽의 키워드 목록을 맞대 빠진 키워드를 쓰고 그 키워드의 검색이 기존 캠페인에만 있었다는 점을 판정 옆에 밝힙니다.
공유 예산을 쓰던 캠페인은 실험을 만들 때 오류가 날 수 있다고 도움말이 안내합니다. 실험을 위해 공유 예산을 뺐다면 예산 구조가 실험 전과 달라진 것이므로, 실험 전 기간과 견줄 때는 그 날짜를 구간의 경계로 삼습니다.
검색 기반 분할로 만든 실험은 도움말대로 같은 사용자가 두 쪽을 모두 볼 수 있습니다. 두 쪽의 노출은 검색 단위로 나뉜 것이므로, 한 사람이 며칠에 걸쳐 여러 번 검색하는 진료라면 그 사람의 문의가 어느 쪽 광고를 본 뒤에 왔는지는 배분 판정과 별개로 남는 한계로 씁니다. 판정표의 넷째 물음까지 지났더라도 이 한계는 보고서의 배분 한 줄 옆에 함께 씁니다.