소재 실험 클릭 수 차이, 전환 수만 비교할 때의 한계

전환 수 대신 노출 천 번당 전환

전환 수는 노출, 클릭률, 클릭당 전환율 세 가지를 곱한 결과입니다. 이 가운데 클릭률과 클릭당 전환율은 소재가 만든 차이지만, 노출은 매체가 정합니다. 네이버의 성과 기반 노출이나 구글의 광고 로테이션 최적화처럼 반응이 좋아 보이는 소재에 노출을 더 주는 설정에서는 실험 초반에 앞선 소재가 노출을 더 받고, 그 때문에 전환 수도 더 쌓입니다. 전환 수만 견주면 이 노출의 차이까지 소재의 힘으로 읽게 됩니다.

클릭당 전환율 하나만 쓰는 것도 치우칩니다. 진료비나 진료 조건을 소재에 밝힌 소재는 클릭이 덜 나오는 대신 누른 사람이 더 자주 전환합니다. 클릭당 전환율로만 견주면 이런 소재가 늘 앞서 보이지만, 같은 노출에서 병원에 닿은 사람의 수는 오히려 덜할 수 있습니다. 노출 천 번당 전환은 클릭을 끌어온 힘과 누른 사람이 전환한 정도를 함께 담으므로, 같은 검색 앞에서 어느 소재가 병원에 사람을 더 데려왔는지에 가장 가깝습니다.

소재 실험에서 나눠 쓰는 네 가지 숫자

소재 실험의 결과는 아래 숫자 표의 네 줄로 나눠 씁니다.

숫자 표의 네 줄을 예시 숫자로 채우면 이렇습니다. 같은 네 주 동안 소재 가는 노출 팔천 번에 클릭 사백 번, 전환 스무 건이었고, 소재 나는 노출 이천 번에 클릭 예순 번, 전환 여섯 건이었습니다. 전환 수는 소재 가가 세 배를 넘지만 노출을 네 배 받았습니다. 클릭률은 가가 오 퍼센트, 나가 삼 퍼센트이고, 클릭당 전환율은 가가 오 퍼센트, 나가 십 퍼센트입니다. 노출 천 번당 전환은 가가 이 점 오 건, 나가 삼 건입니다.

그렇다고 소재 나가 낫다고 쓰지는 않습니다. 소재 나의 전환이 여섯 건이 아니라 다섯 건이었다면 노출 천 번당 전환은 이 점 오 건으로 가와 같아집니다. 전환 한 건이 오가면 사라지는 차이이므로, 보고에는 차이가 있다가 아니라 한 건 차이로 흔들리는 수준이라고 쓰고 실험을 이어 갑니다.

소재 실험 결과를 정리하는 다섯 단계

1. 광고 담당이 두 소재가 함께 나간 같은 기간의 노출, 클릭, 전환, 광고비를 소재 실험 기록표에 옮기고, 전환으로 센 행동의 이름과 기여 방식을 함께 남깁니다.
2. 광고 담당이 광고그룹의 소재 노출 설정과 두 소재의 노출 비중을 기록하고, 한 소재가 실험 도중 검토 중이거나 중지된 날이 있었는지 표시합니다.
3. 광고 담당이 숫자 표의 네 줄을 소재마다 계산합니다.
4. 광고 담당이 노출 천 번당 전환의 차이가 전환 몇 건이 오가면 사라지는지 계산해 기록표에 남깁니다.
5. 원장이 그 건수가 병원이 정한 기준을 넘으면 소재를 정하고, 넘지 않으면 실험 기간을 늘릴지 정합니다.

첫째 단계에서 기여 방식을 남기는 까닭은 한 사람이 두 소재를 다른 날 번갈아 누르고 전환했을 때 그 전환이 어느 소재에 붙는지가 기여 방식에 따라 달라지기 때문입니다. 구글의 데이터 기반 기여처럼 전환을 여러 광고에 나눠 붙이는 방식에서는 소재별 전환이 소수점으로 나오기도 합니다. 두 소재에 같은 기여 방식이 쓰였다면 견줄 수 있지만, 실험 도중 기여 방식을 교체했다면 교체 전후를 나눠 따로 셉니다.

소재별로 셀 수 있는 전환은 매체가 광고에 붙여 세는 것뿐입니다. 광고를 보고 병원 대표번호로 직접 건 전화는 어느 소재를 보았는지 나뉘지 않으므로 소재 실험의 전환에 넣지 않습니다. 전화 비중이 큰 병원이라면 기록표에 그 사실을 밝혀, 소재 실험의 결론이 온라인으로 전환한 사람에 한한 것임을 보고에 남깁니다.

둘째 단계에서 검토 중이거나 중지된 날을 표시하는 까닭은 그 기간에 한 소재만 노출되어 두 소재가 받은 검색의 날짜와 시간대가 어긋나기 때문입니다. 그런 날이 길었다면 그 날들을 두 소재 모두에서 빼고 다시 셉니다.

소재 실험 기록표의 네 칸

다섯 단계의 내용은 실험마다 아래 소재 실험 기록표의 네 칸에 남깁니다.

소재 실험 기록표의 셋째 칸은 보고에서 자주 빠지는 칸입니다. 비율만 쓴 보고는 전환 몇 건에서 나온 비율인지 알 수 없어, 한 건 차이로 흔들리는 결과가 확실한 결과처럼 전달됩니다. 소재 실험 기록표 셋째 칸의 기준 건수는 예시이며 병원이 정하고, 실험을 시작하기 전에 기록표 머리에 밝혀 결과를 본 뒤에 기준을 움직이지 않게 합니다. 기준을 결과에 맞춰 옮기면, 원하는 소재가 이긴 것처럼 보이도록 선을 긋는 일이 되고 실험을 한 뜻이 사라집니다.

전환 수로 보고할 때와 네 숫자로 보고할 때의 차이

전환 수로 보고하는 방식은 짧고 알아듣기 쉽습니다. 원장에게 소재 가가 스무 건, 소재 나가 여섯 건이라고 전하면 누구나 소재 가를 남길 것입니다. 그러나 이 보고에는 소재 가가 노출을 네 배 받았다는 사실이 빠져 있고, 매체가 초반 반응을 보고 노출을 몰아준 결과를 소재의 힘으로 전하게 됩니다. 소재 나를 지우면 같은 노출에서 더 많은 사람을 데려왔을지도 모르는 소재를 시험도 끝내지 못한 채 버립니다.

네 숫자로 보고하는 방식은 길어지지만 결정이 달라집니다. 숫자 표의 네 줄과 기록표의 셋째 칸을 함께 전하면, 원장은 소재 나의 클릭당 전환율이 높다는 것과 그 차이가 전환 한 건에 걸려 있다는 것을 한꺼번에 알게 됩니다. 이때의 결정은 소재 가를 남기는 것이 아니라 두 소재를 같은 노출로 더 돌려 보는 것이 됩니다.

네 숫자 방식의 짐은 광고 담당의 계산과 설명이 늘어난다는 점입니다. 그래서 원장에게 올리는 첫 줄은 노출 천 번당 전환과 흔들림의 크기 두 가지로 줄이고, 클릭률과 클릭당 전환율은 소재 문구나 연결 페이지를 고칠 때 꺼내 씁니다. 실험 기간을 늘려 노출 비중을 맞추고 싶다면 구글이라면 광고 로테이션을 최적화하지 않는 설정으로 돌려 두 소재에 노출을 고르게 나누는 방법이 있으나, 그 기간에는 성과가 낮은 소재에도 노출이 가므로 원장이 비용을 알고 정합니다.

소재 실험 기록의 인계

담당이 바뀔 때는 소재 실험 기록표, 지금 돌고 있는 실험의 시작일과 기준 건수, 광고그룹마다의 소재 노출 설정을 한 묶음으로 넘깁니다. 새 담당은 실험 도중 기여 방식이나 전환으로 센 행동이 교체된 적이 있는지부터 기록표 첫째 칸에서 찾습니다.

소재 실험의 숫자는 광고 성과 전체를 판단하는 숫자 가운데 일부입니다. 소재가 정해진 뒤 광고 전체가 병원에 무엇을 남겼는지는 병원 광고 성과 분석에서 다룹니다.

네 숫자를 그대로 쓰기 어려운 경우