비교 집단의 모양부터 정하는 시험 설계
검색광고 개선안 하나의 효과를 가리는 시험은 무엇을 바꿀지보다 먼저, 바꾸지 않은 쪽과 같은 기간에 견줄 수 있는지로 비교 집단의 모양을 정하고, 그 모양에 맞춰 가설과 관찰 기간, 중단 기준을 정하는 순서로 설계합니다. 한 번에 하나만 바꾸고 판단 기준을 올리기 전에 정해야 무엇이 통했는지 가릴 수 있고, 그 두 가지를 지킨 시험이라도 무엇과 견주느냐에 따라 낼 수 있는 결론의 크기가 달라집니다.
같은 기간에 두 판을 나란히 돌리면 계절, 요일, 경쟁 광고, 병원 밖의 사정이 두 쪽에 똑같이 닿습니다. 앞뒤 기간을 견주면 그 모든 것이 개선안과 함께 바뀝니다. 그래서 같은 개선안이라도 동시 견주기로 얻은 결론은 「이 개선안이 나았다」까지 말할 수 있지만, 앞뒤 견주기로 얻은 결론은 「바꾼 뒤 기간이 나았다」에서 멈춥니다.
비교 집단은 세 가지 모양 가운데 병원이 만들 수 있는 것 가운데 표의 앞줄부터 씁니다. 매체가 한 캠페인을 나눠 동시에 돌리는 기능을 주면 그 기능을, 주지 않으면 바꾸지 않는 기준 광고그룹을 같은 기간에 함께 두고, 둘 다 어렵다면 앞뒤 견주기를 하되 결론의 수위를 미리 낮춰 설계서에 남깁니다.
모양을 먼저 정하는 까닭은 관찰 기간과 판단 건수가 모양에 따라 달라지기 때문입니다. 한 캠페인을 나누면 한쪽의 건수가 줄어 기간이 길어지고, 앞뒤 견주기는 기간을 늘릴수록 계절과 병원 밖 변화가 더 많이 섞입니다. 모양을 정하지 않고 기간부터 정하면 나중에 어느 쪽 문제도 풀 수 없게 됩니다.
비교 집단의 세 가지 모양
| 모양 | 쓰는 때 | 결과에 섞이는 것 | 낼 수 있는 결론 |
|---|---|---|---|
| 한 캠페인을 나눠 동시에 돌림 | 구글 맞춤 실험처럼 매체가 분할 기능을 줄 때 | 나눈 방식에서 오는 차이 | 개선안의 효과 |
| 바꾸지 않는 기준 광고그룹 | 분할 기능이 없고 비슷한 광고그룹이 둘 이상일 때 | 두 광고그룹의 검색어 차이 | 기준 광고그룹 대비 달라진 폭 |
| 앞뒤 기간 견주기 | 위 두 모양을 만들 수 없을 때 | 계절·요일·병원 밖 변화 전부 | 바꾼 뒤 기간의 변화 |
모양 표의 첫째 줄에서 구글 도움말(6261395)은 맞춤 실험이 원래 캠페인과 트래픽·예산을 나눠 함께 돌아가며, 나누는 방식으로 검색마다 무작위로 배정하는 검색 기반과, 한 사용자가 원래 캠페인과 실험 가운데 하나만 보도록 하는 쿠키 기반이 있다고 안내합니다. 지원하는 캠페인에는 검색 캠페인이 들어 있습니다.
둘째 줄의 기준 광고그룹은 같은 진료, 같은 지역, 비슷한 검색어로 묶인 그룹이어야 합니다. 네이버 검색광고에서 캠페인을 나눠 동시에 견주는 기능을 쓸 수 있는지는 광고 관리 화면과 공식 안내에서 확인하고, 없다면 이 줄의 방식으로 대신합니다.
시험 설계서를 채우는 다섯 단계
- 광고 담당 실장이 개선안 하나와, 그것이 바꿀 것으로 기대하는 숫자 하나를 가설 한 문장으로 씁니다.
- 광고 담당 실장이 모양 표에서 병원이 만들 수 있는 비교 집단을 정하고, 분할 실험이면 분할 방식을, 기준 광고그룹이면 그 그룹 이름을 설계서에 씁니다.
- 원무 담당이 가설의 숫자를 접수 기록으로 셀 수 있는지 따지고, 판단에 필요한 건수가 모일 기간을 광고 담당 실장과 함께 셈합니다.
- 원장이 관찰 기간과, 그 전에라도 시험을 멈출 중단 기준을 정해 서명합니다.
- 광고 담당 실장이 시작일을 광고 검토가 끝난 뒤로 예약해 시험을 시작하고, 기간 중 두 쪽에 다른 변경을 더하지 않았는지 주마다 변경 이력으로 점검합니다.
첫째 단계의 가설은 「예약 안내 페이지로 연결을 바꾸면 상담 문의 가운데 예약으로 이어진 비율이 오른다」처럼 바꿀 것, 기대하는 숫자, 움직일 방향을 한 문장에 담습니다. 숫자를 둘 이상 쓰면 어느 하나만 좋아져도 성공이라고 읽게 되어, 시험을 한 까닭이 흐려집니다.
다섯째 단계에서 시작일을 미리 예약하는 것은, 도움말이 광고 검토가 끝나기 전에 실험이 시작되지 않도록 시작일을 앞으로 잡으라고 안내하기 때문입니다. 검토 중인 소재가 섞인 첫 며칠은 두 쪽의 조건이 같지 않습니다.
넷째 단계의 중단 기준은 결과가 좋아 보일 때 일찍 끝내는 기준이 아니라, 병원이 감당할 수 없는 손실이 생길 때 멈추는 기준입니다. 좋은 쪽으로 일찍 끝내면 우연히 몰린 며칠이 결론이 될 수 있어, 관찰 기간은 판단 건수에 닿을 때까지 채웁니다.
바꾼 것에 따라 정하는 분할 방식
| 바꾼 것 | 분할 방식 | 까닭 |
|---|---|---|
| 연결 페이지나 예약 흐름 | 쿠키 기반 | 한 사람이 여러 번 검색해 두 판의 페이지를 모두 겪으면 결과가 섞임 |
| 광고 문구나 확장소재 | 병원이 정하되 쿠키 기반을 먼저 검토 | 문구를 여러 번 본 사람의 반응은 두 판이 섞인 값 |
| 입찰가나 입찰 전략 | 검색 기반도 가능 | 검색 한 번마다 적용되는 설정이라 사람 단위로 묶을 까닭이 적음 |
분할 방식 표는 병원이 정하는 판단 기준이며, 도움말이 바꾼 것마다 방식을 정해 두지는 않습니다. 병원 진료를 찾는 사람은 여러 번 검색한 뒤에 연락하는 경우가 있어, 사람이 겪는 흐름을 바꾸는 시험일수록 한 사람이 한 판만 겪게 하는 쪽이 결과를 덜 흐립니다.
시험으로 가릴 개선안이 여럿이라면 어느 것부터 시험할지는 광고 하나의 설계가 아니라 병원 전체의 순서 안에서 정할 일이고, 그 순서를 세우는 방법은 병원마케팅 전략에서 다룹니다.
설계에서 자주 틀리는 세 곳
첫째는 기준 광고그룹을 다른 진료에서 가져오는 것입니다. 개선안을 적용하지 않은 그룹이라는 점만 맞추고 진료나 지역이 다르면, 두 그룹의 차이는 개선안보다 검색한 사람의 차이에서 더 크게 생깁니다. 기준 광고그룹은 모양 표의 둘째 줄대로 같은 진료와 같은 지역에서 찾고, 그런 그룹이 없다면 앞뒤 견주기로 내려가 결론의 수위를 낮춥니다.
둘째는 가설의 숫자를 광고 보고서에서만 세는 것입니다. 연결 페이지를 바꾼 시험의 전환이 늘었어도, 접수 기록의 상담 문의가 그대로라면 늘어난 것은 셈하는 지점일 수 있습니다. 셋째 단계에서 원무 담당이 접수 기록으로 셀 수 있는지를 먼저 따지는 까닭입니다.
셋째는 시험 중 한쪽에만 다른 변경을 더하는 것입니다. 휴진 공지를 원래 캠페인에만 넣거나, 한쪽 광고그룹의 키워드만 늘리면 두 쪽의 차이는 개선안 하나에서 나온 것이 아니게 됩니다. 시험 중 꼭 필요한 변경은 두 쪽에 같은 날 함께 넣고, 넣은 날을 설계서에 남깁니다. 한쪽에만 들어간 변경을 나중에 알게 되면, 그날부터의 기간은 결론에서 떼어 따로 읽습니다.
시험 설계서의 인계
광고 담당이 바뀌면 시험 설계서 한 장을 넘깁니다. 설계서에는 가설 한 문장, 비교 집단의 모양과 분할 방식이나 기준 광고그룹 이름, 판단 건수와 관찰 기간, 원장이 서명한 중단 기준, 시험 중 두 쪽에 함께 넣은 변경의 날짜가 들어 있어야 합니다. 새 담당자는 나온 숫자보다 비교 집단의 모양을 먼저 읽어야, 결론을 어디까지 말할 수 있는지 알 수 있습니다. 설계서를 결과 보고서와 같은 폴더에 두면, 보고서만 읽은 사람이 앞뒤 견주기의 결론을 개선안의 효과로 옮겨 적는 일을 줄일 수 있습니다.
앞뒤 견주기로 한 시험은 설계서 머리에 결론의 수위를 따로 밝힙니다. 시험 기간에 병원 후기가 한꺼번에 늘거나 평판에 변화가 생기면 앞뒤 견주기의 결과에 그대로 섞이고, 그런 변화를 병원이 어떻게 다룰지는 병원 평판 관리에서 이어 다룹니다.
검색광고 개선 시험 설계 자주 묻는 질문
구글 맞춤 실험의 실험 비율은 무엇을 나누는 숫자인가요?
도움말은 원래 캠페인 예산 가운데 실험에 나눠 줄 비율이라고 안내하고, 두 쪽을 견주기 좋게 50%를 권합니다. 실험 쪽 비율을 작게 잡으면 그쪽의 건수가 늦게 모여 관찰 기간이 길어집니다.
네이버와 구글에 같은 개선안을 함께 시험해도 되나요?
매체마다 만들 수 있는 비교 집단의 모양이 달라, 두 결과를 합치지 않고 매체별로 결론을 따로 씁니다. 한 매체의 결과로 다른 매체의 결론을 대신하지 않습니다.
시험 도중 바꾸지 않은 기준 광고그룹의 성과가 따로 크게 움직이면 어떻게 읽나요?
개선안 없이도 기준 광고그룹이 크게 움직였다면 그 기간에 병원 밖의 변화가 있었다는 신호입니다. 개선한 그룹의 변화에서 기준 광고그룹의 변화를 뺀 폭만 개선안이 낸 변화로 읽고, 두 그룹이 반대로 움직였다면 두 그룹의 검색어 구성부터 다시 맞댑니다.
전환이 적은 진료도 분할 실험으로 시험할 수 있나요?
분할하면 개선한 쪽의 건수까지 줄어드므로, 병원이 기다릴 수 있는 기간 안에 판단 건수가 모이지 않는다면 나누지 않습니다. 대신 같은 진료의 다른 광고그룹을 기준 광고그룹으로 두는 방식을 먼저 따지고, 그런 그룹도 없을 때만 앞뒤 견주기로 낮은 수위의 결론을 냅니다. 이 방식은 예산을 나누지 않아 개선한 그룹의 노출이 그대로 유지됩니다.
시험이 끝난 뒤 개선안을 전체에 적용할 때 무엇을 남기나요?
적용한 날과 적용한 범위를 변경 기록에 남기고, 그날부터의 성과는 시험 결과와 한 줄로 잇지 않습니다. 시험 때와 달리 전체에 적용하면 비교 집단이 사라지므로, 적용 뒤 숫자는 새 기간의 기준선으로만 씁니다.
분할 실험을 쓰지 않는 경우
하루 예산이 작아 반으로 나누면 한쪽 광고가 오전에 멈추는 캠페인은 분할 실험으로 견주기 어렵습니다. 두 쪽이 서로 다른 시간대에 노출되어 조건이 같지 않기 때문입니다. 이때는 예산을 나누지 않는 기준 광고그룹 방식이 낫습니다. 새로 연 진료처럼 지난 기록이 거의 없는 광고그룹도 나누면 두 쪽 모두 건수가 너무 적어, 먼저 한 기간을 그대로 돌려 기준선을 만든 뒤에 시험을 설계합니다.
병원 이름 검색처럼 광고가 끊기면 곤란한 캠페인도 나누어 시험하지 않습니다. 시험이 끝난 뒤에는 설계서의 결론 칸을 원장이 읽고, 다음 시험의 가설을 정하기 전에 이번 시험의 결론 수위를 함께 기록합니다.