합계를 버리고 묶음별로 견주는 까닭
검색광고 실험에서 두 집단의 브랜드 검색 비중이 다르면, 성과 차이가 실험한 변경이 아니라 섞인 이름 검색의 비중에서 나올 수 있어 합계 비교가 잘못 읽힙니다. 여기서 브랜드 검색은 병원 이름이 들어간 검색을 말합니다. 네이버의 정액제 상품인 브랜드검색과는 다른 말이라, 이 글에서는 이름 검색이라고 부릅니다. 이름 검색과 진료명·지역 검색을 나눠 읽습니다. 핵심은 실험의 두 집단에 그 비중이 다르게 섞였을 때 무엇이 잘못 읽히느냐입니다.
이름 검색을 한 사람은 병원을 이미 알고 찾아온 사람이라, 진료명으로 병원을 찾는 사람과 클릭과 문의의 움직임이 크게 다를 수 있습니다. 두 집단 가운데 한쪽에 이름 검색이 더 많이 섞이면, 새 문구나 새 연결 페이지를 쓴 쪽의 성과가 좋아진 까닭이 변경이 아니라 섞인 사람의 차이일 수 있습니다. 반대로 변경이 실제로 좋았는데 이름 검색이 적게 섞여 나쁘게 나타나기도 합니다.
그래서 두 집단의 합계를 곧바로 견주지 않습니다. 검색어를 이름 검색과 그 밖의 검색으로 나누고, 묶음마다 두 집단을 따로 견줍니다. 그다음 비중 차이를 만든 배분 방식을 찾아 다음 실험에서 고칩니다. 구글 광고의 맞춤 실험은 도움말(6261395)에서 검색 캠페인을 쿠키 기반과 검색 기반으로 나눌 수 있다고 안내합니다. 쿠키 기반은 사용자를 무작위로 한쪽에만 배정하고 권장 방식으로 소개되며, 검색 기반은 검색이 일어날 때마다 배정해 같은 사용자가 두 쪽을 모두 볼 수 있습니다.
이름 검색 비중을 어긋나게 하는 배분 방식 네 가지
| 배분 방식 | 비중이 어긋나는 까닭 | 확인할 것 |
|---|---|---|
| 기간으로 나눔 | 소개가 몰린 주나 지역 행사가 있던 주에 이름 검색 수가 달라짐 | 두 기간의 이름 검색 비중 |
| 광고그룹이나 캠페인으로 나눔 | 한쪽 그룹에만 병원 이름 키워드가 들어감 | 두 쪽의 키워드 목록 |
| 한 그룹 안에서 소재를 견줌 | 성과 기반 노출이 잘 눌린 소재에 노출을 더 줌 | 소재 노출 방식 설정 |
| 지역이나 시간대로 나눔 | 병원 가까운 지역에 이름 검색이 몰릴 수 있음 | 지역별 이름 검색 비중 |
배분 방식 표의 둘째 줄은 네이버에서 피하기 어렵습니다. 같은 키워드를 여러 광고그룹에 등록하면 한 그룹에서만 노출되므로, 그룹을 나눈 실험은 두 쪽의 키워드 구성이 같을 수 없고 병원 이름 키워드도 한쪽에만 남기 쉽습니다.
같은 표의 셋째 줄은 네이버의 기본 소재 노출 방식과 관련됩니다. 성과 기반 노출은 노출과 클릭으로 클릭 확률을 계산해 노출 비중을 약 1시간 단위로 조절하므로, 이름 검색에서 잘 눌린 소재가 이름 검색 노출을 더 받아 갈 수 있습니다. 동일 비중 노출을 선택할 수 있지만, 소재마다 연결 주소가 다르면 같은 비중으로 노출되지 않을 수 있다고 안내됩니다.
비중 차이를 가리고 견주는 다섯 단계
- 광고 담당 실장이 병원 이름 목록을 기준으로, 검색어를 이름 검색과 그 밖의 검색, 검색어 미확인으로 나누는 규칙을 정합니다.
- 광고 담당 실장이 두 집단의 검색어 보고서를 같은 기간으로 내려받아 집단마다 이름 검색이 클릭에서 차지하는 비중을 계산합니다.
- 광고 담당 실장이 묶음마다 두 집단의 클릭률과 문의를 따로 견주고, 합계로 견준 결과와 나란히 놓습니다.
- 광고 담당 실장이 배분 방식 표에서 비중 차이를 만든 방식을 찾아 까닭을 기록합니다.
- 원장이 묶음별 결과로 변경을 채택할지 정하고, 광고 담당 실장이 다음 실험의 배분을 고칩니다.
첫째 단계의 병원 이름 목록은 정식 이름과 줄여 부르는 이름, 띄어쓰기가 다른 표기, 예전 이름을 담습니다. 검색어 미확인 묶음을 따로 두는 것은, 네이버 검색어 보고서가 검색어가 확인되는 경우만 집계해 어느 묶음인지 가를 수 없는 클릭이 남기 때문입니다.
둘째 단계에서 비중을 클릭 기준으로 내는 것은, 셋째 단계에서 견줄 클릭률과 문의가 모두 클릭 뒤의 일이어서 같은 바탕에서 비중을 읽기 위해서입니다. 셋째 단계에서 합계 결과를 함께 놓는 것은, 묶음별 결과와 합계 결과가 서로 다른 쪽을 가리키는지를 한눈에 확인하기 위해서입니다. 두 결과의 방향이 다르면 합계의 차이는 섞인 비중에서 나온 것이므로, 원장에게는 묶음별 결과를 먼저 올립니다.
다섯째 단계에서 배분을 고칠 때는 병원 이름 키워드를 실험 범위에서 빼거나, 구글이라면 쿠키 기반으로 나누고, 네이버 소재 비교라면 연결 주소를 같게 하고 동일 비중 노출로 정하는 방법 가운데 실험 내용에 맞는 것을 씁니다.
묶음별 비교표의 네 칸
| 칸 | 채우는 내용 |
|---|---|
| 묶음 | 이름 검색, 그 밖의 검색, 검색어 미확인 |
| 집단별 클릭과 비중 | 두 집단 각각의 묶음별 클릭 수와 집단 안에서 차지하는 비중 |
| 집단별 클릭률과 문의 | 묶음마다 두 집단의 클릭률, 접수 기록과 맞춘 문의 수 |
| 합계 결과와 까닭 | 합계로 견준 결과, 방향이 다를 때 배분 방식 표에서 찾은 까닭 |
비교표의 셋째 줄에서 문의를 접수 기록과 맞추는 것은, 광고를 누른 뒤 홈페이지 신청 대신 전화로 연락한 사람이 광고 쪽 전환에서 빠질 수 있어서입니다. 이름 검색으로 온 사람은 병원 전화번호를 이미 알고 있는 경우도 있어, 두 집단의 전화 문의 비중이 다르면 전환만으로 견준 결과가 기울어집니다. 비교표의 넷째 줄은 채택 결정을 내린 뒤에도 남겨, 다음 실험에서 같은 배분 방식을 쓰지 않는 근거로 삼습니다.
새 연결 페이지 실험을 다시 읽은 치과 가상 사례
아래는 이해를 돕기 위한 가상 사례입니다. 한 치과는 임플란트 상담 연결 페이지를 새로 만들고, 기존 광고그룹을 복사해 새 그룹에는 새 페이지를 연결해 두 주 동안 견줬습니다. 합계로는 기존 그룹의 문의가 훨씬 많아 원장은 새 페이지를 접으려 했습니다.
광고 담당 실장은 병원 이름 목록으로 검색어를 세 묶음으로 나누는 규칙을 정하고, 두 그룹의 검색어 보고서를 같은 두 주로 내려받았습니다. 기존 그룹의 클릭 가운데 이름 검색 비중이 새 그룹보다 크게 높았습니다. 묶음마다 견주니 그 밖의 검색 묶음에서는 새 그룹의 클릭률과 문의가 기존 그룹과 비슷하거나 조금 나았고, 합계와 묶음별 결과의 방향이 달랐습니다. 배분 방식 표의 네 줄을 차례로 맞대니, 두 그룹은 같은 기간에 같은 지역과 시간대로 돌았고 소재끼리 견준 실험도 아니었습니다. 남은 둘째 줄을 확인하자 복사한 그룹의 병원 이름 키워드가 기존 그룹에서만 노출되고 있었습니다.
원장은 묶음별 결과를 근거로 새 페이지를 접지 않기로 했지만, 한 번의 결과로 바로 바꾸지도 않았습니다. 실장은 다음 실험에서 병원 이름 키워드를 실험 범위에서 빼고, 같은 그룹에서 기간으로 나누되 두 기간의 이름 검색 비중을 먼저 맞대기로 배분을 고쳤습니다. 검색어 미확인 묶음이 두 그룹에서 얼마나 달랐는지는 남은 과제로 비교표에 남겼습니다.
이름 검색 비중이 광고 밖에서 움직일 때
기간으로 나눈 실험에서 뒤 기간의 이름 검색 비중만 올랐다면, 광고 밖에서 병원을 알게 된 사람이 늘었을 수 있습니다. AI 답변에 병원이 새로 소개되기 시작한 것도 그런 까닭이 될 수 있어, 지금 AI 답변에 병원이 어떻게 나오는지 확인하는 방법은 병원GEO진단에서 따로 다룹니다.
늘어난 이름 검색을 광고 실험의 결과가 아니라 광고 밖 활동의 결과로 읽으려면, 그 활동의 성과를 따로 세는 기준이 있어야 합니다. AI 검색 쪽 활동의 성과를 무엇으로 셀지는 GEO마케팅 성과에서 따로 다룹니다.
검색광고 실험의 브랜드 검색 비중 자주 묻는 질문
병원 이름 키워드를 처음부터 실험에서 빼면 되지 않나요?
빼면 비중 문제는 사라지지만, 결과는 그 밖의 검색에만 해당하게 됩니다. 새 연결 페이지가 이름 검색으로 온 사람에게도 같은 결과를 내는지는 알 수 없으므로, 결과 보고에 실험이 다룬 검색의 범위를 함께 씁니다.
실험 도중에 이름 검색이 갑자기 늘면 실험을 멈춰야 하나요?
멈추지 않고 늘어난 날을 기록합니다. 두 집단이 같은 기간에 함께 돌고 있다면 묶음별 비교는 그대로 할 수 있습니다. 기간으로 나눈 실험이라 한쪽 기간에만 이름 검색이 몰렸다면, 그 날짜는 결론에서 따로 떼어 읽습니다.
검색어가 확인되지 않는 클릭은 어느 묶음에 넣나요?
어느 쪽에도 넣지 않고 검색어 미확인 묶음으로 따로 셉니다. 이 묶음의 비중이 두 집단에서 크게 다르면 묶음별 결과도 그만큼 흔들리므로, 결론을 내리기 전에 원장에게 그 차이를 함께 알립니다.
구글 실험을 쿠키 기반으로 나누면 비중 문제는 없나요?
사용자를 무작위로 한쪽에만 배정하므로 배분 방식에서 오는 어긋남은 줄어듭니다. 다만 방문자가 적은 병원은 무작위로 나눠도 우연히 한쪽에 이름 검색이 더 들어갈 수 있어, 둘째 단계의 비중 계산은 그대로 합니다.
이름 검색 묶음의 클릭이 너무 적어 두 집단을 견줄 수 없으면 어떻게 하나요?
그 묶음의 결론은 내지 않고, 그 밖의 검색 묶음만으로 결론을 냅니다. 결과 보고에는 이름 검색 묶음을 판단 보류로 쓰고, 원장이 그 묶음까지 알고 싶다면 이름 검색이 충분히 쌓일 만큼 실험 기간을 늘릴지 함께 정합니다.
다음 실험 전에 다시 점검할 것
실험을 새로 설계할 때마다 병원 이름 목록에 새로 생긴 표기가 있는지 최근 검색어 보고서로 확인하고, 목록을 고친 날을 비교표에 남깁니다. 목록이 달라지면 앞선 실험과 이름 검색 비중을 한 줄로 이어 읽지 않습니다. 새 실험은 시작한 첫 주에 두 집단의 이름 검색 비중을 한 번 계산해, 어긋남이 처음부터 있는지 끝나기 전에 확인합니다. 첫 주에 이미 어긋나 있다면 실험을 이어 가기 전에 배분부터 고칩니다.
광고 담당이 바뀌면 묶음을 나누는 규칙과 비교표, 배분 방식 표에서 찾았던 까닭을 함께 넘깁니다. 원장이 채택한 변경도 어느 묶음의 결과로 채택했는지를 남겨, 다른 묶음에서 결과가 달라질 때 다시 판단할 수 있게 합니다.