[내배캠 D+73] 그로스 마케팅 주차: A/B 테스트와 통계적 유의성

 

내배캠 73일차!

 

오늘은 그로스 마케팅 주차 강의 수강을 마쳤다. 강의는 A/B 테스트 중심이었고, 오늘은 그와 관련된 개념을 정리해보려 한다.

---

A/B 테스트란?

기존 버전 A(Control group)와 새로운 버전 B(Test group)를 동시에 실험하여, 어떤 버전이 더 나은 성과를 내는지 비교하는 방법이다.

 

핵심은 한 번에 딱 한 가지 요소만 변경한다는 것이다. 여러 요소를 동시에 바꾸면 어떤 변수 때문에 결과가 달라졌는지 알 수 없기 때문이다.

 

A/B 테스트에서 고려할 요소

• 시간: 요일별 차이, 시간대별 차이
• 사용자: 신규 vs 기존 고객, 연령대, 지역
• 외부 요인: 경쟁사 광고, 시장 상황, 계절적 요인
• 기술적 요인: 웹사이트 속도, 모바일 vs PC
• 광고 크리에이티브: CTA 문구, 이미지 소재, 가격 표현 방식

문제 원인을 위 요소 중 하나로 좁혀 발견했다면, 그 요소를 기준으로 개선 실험을 진행하는 것이다.

 

그렇다면 결과가 실제로 개선된 건지 어떻게 판단할까?

 

통계적 유의성을 보자!

실험 결과는 단순 수치 비교가 아니라, 데이터 수집과 통계 분석을 통해 판단한다. 통계적으로 유의미하다면 승자 시나리오로 볼 수 있고, 그렇지 않다면 개선이 필요하다.

 

통계적 유의성을 확보하려면 충분한 샘플 사이즈가 필요하다.  최소 트래픽이 확보되지 않으면 결과를 신뢰하기 어렵기 때문이다. 그래서 결과 분석은 다음과 같은 절차를 따른다:

 

A/B 테스트 절차 정리

테스트 전 → 샘플 사이즈 계산

• 신뢰수준 (α, confidence level) = 보통 95% (α = 0.05)
• 검정력 (β, Statistical Power) = 보통 80% (β = 0.20)

테스트 후 → p-value 검증

• p < 0.05면 통계적으로 유의미하다 (statistically significant)

통계 모델은 보통 Chi-square test를 활용한다.

---

💭 오늘의 회고

오늘은 그로스 마케팅 강의를 통해 A/B 테스트 개념과 통계 용어를 다시 정리할 수 있었다. 석사 과정에서도 실험과 통계 분석을 직접 수행했기 때문에 완전히 새로운 개념은 아니었다.

 

석사 때 첫 실험에서 바로 p-value가 잘 나오지 않아 여러 번 실험을 반복했던 기억이었다. 그때도 통계적으로 유의미한 결과(p < 0.05)를 얻기까지 실험을 여러 번 설계하고 수정했었다.

 

A/B 테스트 역시 구조는 비슷하다고 느꼈다. 통계 분석을 통해 개선할 지점을 찾고, 다시 실험을 설계하고 반복하는 과정이라는 점에서 말이다. 차이점이라면, 석사 실험은 변수와 가설의 개수가 훨씬 많았다는 점이다. (당시에는 가설을 5개 정도 세웠던 기억이 난다.)

 

결국 A/B 테스트도 문제 파악 능력과 반복 개선의 싸움이라는 생각이 들었다.

 

오늘의 TIL 끝.