A/B 테스트

기술 용어
약 1분 읽기

두 가지 이상의 버전을 동시에 노출해 어느 쪽이 더 효과적인지 통계로 비교하는 실험 방법입니다.

다른 이름
A/B TestA/B Testing분할 테스트Split Test

상세 설명

A/B 테스트(A/B Test)는 두 가지 이상의 버전(A와 B)을 사용자에게 무작위로 나눠 보여 주고, 어느 쪽 지표가 더 좋은지 통계적으로 비교하는 실험 방법입니다. 웹사이트 디자인, 이메일 제목, 광고 카피, 가격 정책, 버튼 문구 같은 요소를 근거에 기반해 개선할 때 쓰입니다. 신뢰할 결과를 얻으려면 충분한 표본과 통계적 유의성 확인이 필요합니다. Optimizely·VWO 등이 대표 도구이며, 멀티 암드 밴딧(Multi-Armed Bandit) 알고리즘을 쓰면 성과가 좋은 안에 트래픽을 자동으로 더 배분해 테스트를 최적화할 수 있습니다.

도구 선택에서 중요한 이유

A/B 테스트 기능이 있는 도구를 쓰면 추측이 아니라 데이터로 개선 여부를 판단할 수 있습니다. 다만 표본이 작거나 통계적 유의성을 따지지 않으면 잘못된 결론을 내기 쉽습니다. 도구가 유의성 계산과 충분한 표본 안내, 동시 다중 실험 관리를 지원하는지가 신뢰할 결과를 얻는 관건입니다.

도구를 고를 때 확인할 점

  • 통계적 유의성과 필요한 표본 크기를 안내해 주는가
  • 여러 실험을 동시에 운영하고 충돌을 관리할 수 있는가
  • 전환·매출 같은 실제 목표 지표를 추적할 수 있는가
  • 멀티 암드 밴딧 등 자동 트래픽 배분을 지원하는가

실제 적용 예시

가입 버튼 문구를 '무료로 시작'과 '지금 체험'으로 나눠 방문자에게 무작위로 보여 주고, 2주간 가입 전환율을 비교합니다. 표본이 쌓여 통계적으로 유의한 차이가 확인되면 더 높은 쪽 문구를 채택하는 식으로, 근거 있는 개선을 반복합니다.

관련 용어

데이터 분석SEO개인화 (Personalization)