여럿 가운데 가장 좋게 나온 후보가 우연일 수 있는 까닭
광고 소재를 여러 개 동시에 견주면 실제로는 소재끼리 차이가 없어도 그 가운데 하나는 우연히 가장 좋게 나오므로, 가장 좋게 나온 후보를 곧바로 승자로 정하지 않습니다. 견줄 개수를 줄이고, 소재마다 충분한 노출을 모으고, 어느 소재가 왜 나을지 미리 가설을 세우고, 뽑힌 후보를 한 번 더 견주는 재검증을 거쳐 승자를 정합니다.
우연이 끼어드는 까닭은 클릭률이 몇 안 되는 클릭으로 흔들리기 때문입니다. 노출 천 번에 클릭 서른 번 안팎이 나오는 소재라면, 다섯 번의 클릭이 오가는 것만으로 클릭률이 이 점 오 퍼센트에서 삼 점 오 퍼센트 사이를 오르내립니다. 같은 힘을 가진 소재 다섯 개를 견주면 이 흔들림 때문에 하나는 위쪽 끝에, 하나는 아래쪽 끝에 서게 되고, 위쪽 끝의 소재가 승자처럼 읽힙니다.
견주는 개수가 늘수록 이 위험도 커집니다. 두 개를 견줄 때는 한쪽이 우연히 앞설 기회가 한 번뿐이지만, 다섯 개를 견주면 다섯 소재 모두에게 우연히 앞설 기회가 생겨 가장 좋게 나온 값이 실제보다 부풀기 쉽습니다. 그래서 승자를 정하는 기준은 개수가 늘수록 더 엄격해야 합니다.
승자 선택 표의 네 조건
여러 소재 가운데 승자를 정하기 전에 아래 승자 선택 표의 네 줄을 갖춥니다.
| 조건 | 하는 일 | 없으면 생기는 일 |
|---|---|---|
| 견줄 개수 | 한 번에 견주는 소재를 줄임 | 우연히 앞서는 후보가 늘어남 |
| 표본 | 소재마다 병원이 정한 노출을 모은 뒤 판정 | 몇 번의 클릭으로 순위가 바뀜 |
| 사전 가설 | 어느 소재가 왜 나을지 시작 전에 씀 | 결과를 본 뒤 그럴듯한 까닭을 붙임 |
| 재검증 | 뽑힌 후보를 다음 기간에 한 번 더 견줌 | 첫 기간의 우연을 승자로 굳힘 |
승자 선택 표의 셋째 줄은 가장 싸게 갖출 수 있는 조건입니다. 시작 전에 이 소재는 진료 시간을 앞세워 저녁에 오려는 사람을 데려올 것이라고 써 두면, 그 소재가 이겼을 때 까닭이 결과보다 먼저 있었다는 것이 기록에 남습니다. 가설과 다른 소재가 이겼다면 그 결과는 다음 기간에 한 번 더 견줄 대상으로 삼습니다.
승자 선택 표의 넷째 줄은 개수가 많았던 비교일수록 꼭 거칩니다. 첫 기간에 가장 좋게 나온 소재와 두 번째로 좋게 나온 소재를 다음 기간에 둘만 견주면, 첫 기간의 우연이 다시 되풀이될 가능성은 작아집니다. 두 번 모두 앞서면 승자로 정하고, 순서가 바뀌면 둘 사이의 차이는 크지 않다고 판단합니다. 두 기간 사이에 소재 말고 바뀐 다른 조건이 없는지도 함께 가립니다.
표본의 크기와 다시 견주는 기간의 길이는 예시이며 병원이 정합니다. 광고그룹의 노출이 많지 않다면 표본을 채우는 데 오래 걸리므로, 그만큼 견줄 개수를 줄이는 쪽으로 균형을 맞춥니다.
여러 소재에서 승자를 정하는 다섯 단계
- 원장이 이번에 견줄 한 가지와 견줄 소재의 수를 정하고, 광고그룹의 노출로 표본을 채울 수 있는 수인지 광고 담당과 가립니다.
- 광고 담당이 소재마다 어느 소재가 왜 나을지의 가설을 시작 전에 써서 승자 선택 기록표에 남깁니다.
- 광고 담당이 모든 소재가 병원이 정한 노출을 채운 뒤에 소재별 클릭률과 전환을 옮깁니다.
- 원장이 가장 좋게 나온 소재와 두 번째 소재를 뽑아, 다음 기간에 둘만 다시 견주게 합니다.
- 광고 담당이 두 번째 기간의 결과를 옮기고, 원장이 두 기간 모두 앞선 소재를 승자로 정합니다.
첫째 단계에서 견줄 수를 광고그룹의 노출로 정하는 까닭은 소재가 늘수록 한 소재가 받는 노출이 줄기 때문입니다. 한 달에 노출이 몇천 번인 광고그룹에서 소재를 다섯 개 돌리면 소재마다 표본을 채우는 데 몇 달이 걸려, 그 사이 계절이나 병원 사정이 바뀝니다.
둘째 단계의 가설은 소재마다 한 문장이면 충분합니다. 이 소재는 무엇을 앞세워 누구를 더 데려올 것이다라는 문장이 있으면, 결과가 나온 뒤에 그 까닭이 맞았는지를 따로 가릴 수 있습니다. 가설이 없는 소재는 이겨도 왜 이겼는지를 말할 수 없어, 다음 소재를 쓸 때 배울 것이 남지 않습니다.
셋째 단계에서 모든 소재가 노출을 채울 때까지 기다리는 까닭은 먼저 채운 소재만 보고 판정하면 늦게 채우는 소재가 기회를 잃기 때문입니다. 성과 기반 노출처럼 반응이 좋아 보이는 소재에 노출을 몰아주는 설정이라면, 비교 기간에는 소재끼리 같은 기회를 주는 방식을 먼저 정합니다.
넷째 단계에서 두 번째 소재를 함께 남기는 까닭은 재검증이 가장 좋게 나온 소재를 다시 확인하는 일이기 때문입니다. 첫 기간의 승자와 두 번째 소재가 다음 기간에도 같은 순서라면 첫 기간의 결과를 믿을 수 있고, 순서가 바뀌면 둘의 차이는 우연의 범위 안에 있었던 것입니다.
승자 선택 기록표의 네 칸
다섯 단계의 결과는 비교마다 아래 승자 선택 기록표의 네 칸에 남깁니다.
| 칸 | 채우는 내용 | 채우는 사람 |
|---|---|---|
| 개수와 표본 | 견준 소재의 수, 소재마다 채울 노출 | 원장, 광고 담당 |
| 사전 가설 | 시작 전에 쓴 소재별 가설과 쓴 날 | 광고 담당 |
| 첫 기간 결과 | 소재별 노출, 클릭률, 전환과 뽑힌 두 후보 | 광고 담당 |
| 재검증과 결정 | 두 후보의 다음 기간 결과, 승자, 까닭 | 원장 |
승자 선택 기록표의 둘째 칸은 결과를 옮기기 전에 채워져 있어야 뜻이 있습니다. 가설을 쓴 날이 결과를 옮긴 날보다 뒤라면 그 가설은 결과에 맞춘 설명일 수 있어, 쓴 날을 함께 남깁니다.
다섯 개를 한 번에 견줄 때와 두 개씩 견줄 때
다섯 개를 한 번에 견주면 한 기간 안에 여러 문구를 모두 시험할 수 있어 빠른 방식 같습니다. 대신 소재마다 받는 노출이 다섯으로 나눠져 표본을 채우는 데 오래 걸리고, 채운 뒤에도 가장 좋게 나온 값이 우연으로 부풀 가능성이 큽니다. 그래서 다섯 개를 한 번에 견준 결과는 다시 견주는 기간을 반드시 거쳐야 결론이 됩니다.
두 개씩 견주면 한 번에 시험하는 문구 수는 줄지만, 소재마다 받는 노출이 많아 표본이 빨리 채워지고 우연히 앞설 기회도 한 번뿐입니다. 이긴 소재를 다음 후보와 다시 견주는 방식으로 이어 가면, 여러 기간에 걸쳐 여러 문구를 시험하면서도 매 기간의 결론이 흔들림에 덜 휘둘립니다.
두 개씩 견주는 방식에도 약점은 있습니다. 먼저 견준 소재들이 이긴 소재와만 다시 견주게 되어, 앞에서 진 소재가 나중의 조건에서는 나았을 가능성을 다시 확인하지 못합니다. 그래서 진 소재의 가설과 결과도 기록표에 남겨, 조건이 크게 바뀐 뒤에 다시 꺼낼 수 있게 합니다.
그래서 광고그룹의 노출이 많지 않은 병원이라면 두 개씩 견주는 쪽이 맞습니다. 노출이 넉넉해 다섯 개의 표본을 한 기간에 채울 수 있다면 한 번에 견줄 수 있지만, 그때도 승자 선택 표의 넷째 줄인 재검증은 빼지 않습니다.
승자 선택 기록표의 인계
담당이 바뀔 때는 승자 선택 기록표와 진행 중인 비교의 사전 가설, 다시 견주기를 기다리는 두 후보를 한 묶음으로 넘깁니다. 새 담당은 첫 기간의 결과만 보고 승자를 정하지 않고, 기록표의 넷째 칸이 채워질 때까지 기다립니다. 진행 중인 비교의 사전 가설을 새 담당이 고쳐 쓰지 않는 것도 함께 지킵니다.
소재 비교의 승자는 광고 전체의 성과 가운데 한 조각입니다. 정한 소재가 광고 전체에서 병원에 무엇을 남겼는지는 병원 광고 성과 분석에서 다룹니다.
AI 답변에 인용될 병원 안내 문장을 여러 버전으로 시험할 때도, 여럿 가운데 우연히 좋게 나온 문장을 승자로 삼는 같은 위험이 있습니다. AI 답변에서 병원이 어떻게 언급되는지 재는 방법은 병원GEO진단에서 다룹니다.
여러 소재 동시 비교 자주 묻는 질문
재검증에서 순서가 바뀌면 두 소재 가운데 무엇을 남깁니까?
두 소재의 차이가 우연의 범위 안에 있었다는 뜻이어서, 광고 효과만으로는 어느 쪽도 뚜렷이 낫지 않습니다. 이때는 심의 부담이 적거나 병원이 말하고 싶은 내용에 더 가까운 쪽을 원장이 정합니다.
견줄 한 가지 말고 다른 요소도 소재마다 달랐다면 승자는 무엇 때문에 이긴 것입니까?
여러 요소가 함께 달랐다면 이긴 까닭을 한 가지로 말할 수 없습니다. 승자는 그대로 쓰되, 어느 요소가 이긴 까닭인지는 다음 비교에서 한 가지만 다른 두 소재로 가립니다.
전환이 드문 광고그룹도 여러 소재를 견줄 수 있습니까?
전환이 드물면 소재별 전환은 우연의 흔들림이 더 커서 승자를 정하는 근거가 되기 어렵습니다. 이때는 클릭률로 문구만 가리고, 견줄 개수를 두 개로 줄입니다.
한 기간에 다섯 소재를 견주고 다시 견주지 않고 승자를 정한 지난 결과는 어떻게 다룹니까?
그 승자를 지금 소재로 쓰고 있다면, 다음 비교에서 그 소재를 두 번째 후보와 다시 견주는 기회로 삼습니다. 결과가 같으면 그대로 쓰고, 바뀌면 지난 결정을 기록에서 고칩니다.
대행사가 여러 소재를 돌려 가장 좋은 것을 알아서 남기겠다고 하면 어떻게 합니까?
가장 좋게 나온 것만 남기는 방식은 우연을 승자로 굳힐 수 있습니다. 대행사에 견줄 개수와 표본, 사전 가설, 재검증을 기록표로 받아, 네 조건을 갖춘 비교인지 먼저 가립니다.
네 조건을 그대로 갖추기 어려운 경우
병원 광고의 소재는 심의를 받아야 해 여러 문구를 한꺼번에 만들기 어렵습니다. 이때는 견줄 개수를 처음부터 둘로 두고, 새 소재는 심의를 마친 뒤 이긴 소재와 견주는 방식으로 이어 갑니다.
광고그룹의 노출이 너무 드물어 두 소재의 표본도 오래 모이지 않는다면, 소재 비교보다 광고그룹의 노출을 늘리는 일이 먼저입니다. 그 사이에는 소재를 하나로 두고, 비교는 노출이 모일 수 있을 때로 미룹니다. 미룬 까닭과 다시 시작할 조건을 기록표에 한 줄로 남겨, 비교가 잊히지 않게 합니다.