소재 바꿨는데 왜 차이가 없냐 — A/B 테스트 설계가 틀렸습니다

변수를 여러 개 동시에 바꾸는 경우

이미지도 바꾸고 문구도 바꾸고 랜딩페이지까지 한 번에 수정하면 효율이 올랐을 때 뭐가 원인인지 알 수가 없어요. A/B 테스트는 변수 하나씩만 바꿔야 의미 있는 데이터가 나와요.

테스트 기간이 너무 짧은 경우

주중이랑 주말의 사용자 행동 패턴이 달라요. 이틀이나 사흘만 보고 판단하면 특정 요일 편향에 속아 잘못된 결론을 내리게 돼요. 최소 7일은 돌려야 해요.

예산이 너무 적은 경우

모수가 충분히 쌓여야 비교가 의미 있어요. 소액으로 몇 번 노출된 상태에서 나온 클릭률이나 전환율은 우연일 가능성이 높아요. 각 시안당 전환이 최소 수십 건 이상 쌓여야 비교 의미가 생겨요.

승자 소재를 너무 빨리 결정하는 경우

초반 학습 단계에서는 성과 변동성이 커요. 반짝 효율 좋다고 바로 승자 확정하고 다른 시안 끄면, 장기적으로 더 안정적으로 효율 낼 수 있는 소재를 잃을 수 있어요.

캠페인이나 광고 세트 수준에서 공식 A/B 테스트 기능을 써야 해요. 수동 분할 테스트는 시스템이 성과 좋은 쪽에 자동으로 예산을 몰아줘서 공정한 비교가 안 돼요. 메타 공식 툴 쓰면 타겟 중복 노출 없이 예산을 동일하게 나눠서 보여줘요.

동일한 광고 그룹에 소재 등록할 때 노출 방식 설정을 잘 봐야 해요. 자동 최적화 방식 선택하면 초반에 조금이라도 우세한 소재에 노출이 쏠려요. 정확한 비교를 원하면 처음엔 균등 노출로 설정하고, 데이터 쌓인 다음에 전환 효율 비교하는 게 맞아요.

광고 로테이션에서 최적화 옵션을 해제해야 해요. 구글은 기본적으로 성과 좋은 광고를 더 자주 보여주도록 자동 최적화가 켜져 있어요. 균등 로테이션으로 수동 설정하고 일정 기간 같은 기회를 준 다음 누적 지표 비교해서 결론 내리면 됩니다.