통계상 작은 차이가 병원 운영에 중요한지 가리는 기준

통계의 물음과 운영의 물음을 나누기

두 물음을 나누는 까닭은 서로 다른 것을 알려 주기 때문입니다. 통계적으로 뚜렷하다는 것은 차이가 우연으로 생겼다고 보기 어렵다는 뜻일 뿐, 그 차이가 병원에 쓸모 있을 만큼 크다는 뜻은 아닙니다. 기간이 길고 숫자가 많이 쌓이면 아주 작은 차이도 뚜렷하게 나오므로, 뚜렷하다는 결과만으로 광고를 바꾸면 병원에는 아무 차이 없는 변경을 되풀이하게 됩니다.

최소 변화를 실험 전에 정하는 것도 같은 까닭입니다. 결과를 본 뒤에 선을 정하면, 나온 숫자에 맞춰 선을 옮기고 싶어집니다. 원장이 실험을 시작하기 전에 세 가지 선을 정해 설정 기록에 남기고, 결과는 그 선과만 견줍니다.

결과를 한 숫자가 아니라 추정 범위로 읽는 것도 병원에서는 무겁습니다. 병원 광고는 한 달의 상담 신청이 수십 건 안팎인 경우가 있어, 같은 차이라도 범위가 넓게 나옵니다. 한 숫자만 보면 선을 넘은 것처럼 보여도, 범위의 아래 끝은 선에 못 미칠 수 있습니다. 그래서 판단은 범위의 두 끝이 선의 어느 쪽에 있는지로 합니다.

최소 변화 세 가지 표

둘째 줄이 통계에서 빠지곤 하는 기준입니다. 상담 신청이 한 달에 몇 건 늘어도 예약할 수 있는 시간이 이미 꽉 차 있다면, 그 차이는 병원이 받을 수 없는 차이입니다. 원무팀장이 한 달에 더 받을 수 있는 초진의 수를 알려 주어야 원장이 늘어난 신청의 선을 정할 수 있습니다.

셋째 줄의 조건은 신청의 수보다 신청이 어디로 향하는지를 가립니다. 신청이 늘었는데 병원이 하지 않는 진료를 묻는 신청이나 받을 수 없는 먼 지역의 신청이 늘었다면, 수의 차이가 선을 넘어도 병원에 쓸모 있는 변화가 아닙니다. 원장은 실험 전에 병원이 받는 진료와 지역을 조건으로 정해 놓고, 그 조건에 드는 신청만 셉니다.

추정 범위 판정표

실험 결과의 차이는 한 숫자가 아니라 추정 범위로 읽습니다. 범위의 두 끝을 최소 변화의 선과 견주어 첫째 물음에 값을 매기고, 둘째 물음에 받을 수 있는 환자 수로 값을 매깁니다. 첫째 물음의 값은 모두 넘음, 걸침, 모두 못 미침이고, 둘째 물음의 값은 받음과 못 받음이며, 운영에 반영하는 일은 원장이 승인합니다.

넷째 줄은 통계적으로 뚜렷한 결과에도 적용됩니다. 차이가 우연이 아니라고 나와도 그 범위 전체가 선에 못 미친다면, 병원은 그 차이 때문에 무엇을 바꾸지 않습니다. 셋째 줄에서 기간을 늘리기로 했다면, 늘린 기간이 끝나는 날과 그때 다시 견줄 선을 함께 정하고 설정 기록에 남깁니다. 선은 늘린 기간에도 처음 정한 그대로 씁니다.

기간을 늘리는 데에도 값이 듭니다. 시험하는 동안 한쪽 문구나 설정은 더 나을 수도 있는 쪽을 쓰지 못하고, 광고 담당 실장의 기록 일도 이어집니다. 셋째 줄에서 원장은 한 달을 더 볼지, 차이가 선에 닿을 만큼 크지 않다고 보고 시험을 끝낼지를 이 값까지 헤아려 정합니다.

실험 전후 네 단계

1. 실험 전에 원장이 광고 담당 실장, 원무팀장과 함께 최소 변화 세 가지 표의 선을 정해 설정 기록에 남깁니다.
2. 실험이 끝나면 광고 담당 실장이 차이를 한 숫자와 함께 추정 범위로 셈해 올립니다.
3. 광고 담당 실장이 범위의 두 끝을 선과 견주어 첫째 물음에 값을 매기고, 원무팀장이 둘째 물음에 값을 매깁니다.
4. 원장이 판정표의 처리를 승인하고, 광고 담당 실장이 결과를 한 줄로 남깁니다.

첫째 단계에서 세 선을 한 사람이 모두 정하지 않는 까닭은, 선마다 아는 사람이 다르기 때문입니다. 비용의 선은 예산을 아는 사람이, 받을 수 있는 환자 수의 선은 예약표를 아는 사람이 알려 주어야 원장이 병원 사정에 맞는 선을 정할 수 있습니다. 셋째 단계도 같은 까닭으로 둘째 물음을 원무팀장이 매깁니다.

같은 결과를 두 방식으로 읽은 비교

아래는 한 이비인후과가 두 가지 광고 문구를 한 달씩 번갈아 시험한 결과를 가상으로 꾸민 것이고, 숫자는 모두 설명을 위한 예시입니다. 원장은 시험 전에 상담 신청 한 건당 광고비가 3,000원 이상 줄어야 문구를 바꾸고, 상담 신청은 한 달에 5건 이상 늘어야 뜻이 있으며, 한 달에 더 받을 수 있는 초진은 8명이라고 정해 설정 기록에 남겼습니다.

결과는 새 문구가 상담 신청 한 건당 광고비를 1,200원 줄였고, 그 추정 범위는 800원에서 1,600원 사이였습니다. 상담 신청은 한 달에 6건 늘었고, 추정 범위는 2건에서 10건 사이였습니다. 두 차이 모두 통계적으로는 뚜렷하게 나왔습니다.

첫째 방식은 통계 결과만 읽습니다. 두 차이가 모두 뚜렷하니 새 문구가 낫다고 보고, 곧바로 문구를 바꾸자는 결론이 나옵니다.

둘째 방식은 판정표로 읽습니다. 광고비의 범위 800원에서 1,600원은 선 3,000원에 모두 못 미쳐 넷째 줄입니다. 상담 신청의 범위 2건에서 10건은 선 5건의 아래와 위에 걸쳐 셋째 줄입니다.

두 방식이 가른 결론

첫째 방식을 따랐다면 문구를 바꾸고 광고비가 줄었다고 보고했겠지만, 줄어든 1,200원은 원장이 예산을 옮길 까닭으로 정한 3,000원의 절반에도 못 미칩니다. 광고비 쪽은 운영상 차이 없음으로 남았습니다.

상담 신청 쪽은 범위가 선에 걸쳐 결론을 내리지 않았습니다. 원장은 한 달을 더 시험하기로 하고, 선은 처음 정한 5건 그대로 쓰기로 했습니다. 늘어난 신청이 많아야 10건이라 원무팀장이 알려 준 8명을 넘을 수 있다는 점도 함께 남겨, 다음 달 범위가 모두 선을 넘으면 둘째 물음부터 다시 매기기로 했습니다.

한 달 뒤 상담 신청의 추정 범위는 예시로 6건에서 13건 사이였습니다. 아래 끝 6건이 선 5건을 넘어 첫째 물음은 모두 넘음이었지만, 위 끝 13건은 원무팀장이 알려 준 8명을 넘어 둘째 물음은 못 받음이었습니다. 판정표 둘째 줄대로 원장은 문구를 바로 바꾸지 않고, 원무팀장과 함께 초진 상담 시간을 늘릴 수 있는지부터 정하기로 했습니다. 문구는 그 결정이 난 뒤 다시 판정표로 가립니다.

광고 결과를 병원 운영의 숫자와 나란히 놓고 읽는 방법은 병원 광고 성과 분석에서 이어서 읽을 수 있습니다.

판정표를 달리 쓰는 경우