리스팅 A/B 테스트 — 무엇을 바꾸고 어떻게 확인할까

PRACTICAL CHECKLIST

실무 체크리스트

1. 1영향이 큰 순서는 대표 이미지, 제목, 가격, 상세 이미지 구성, 설명 문구입니다. 대표 이미지 교체는 클릭률을 30% 이상 바꾸기도 합니다. 반면 설명 문구 수정은 효과가 작고 측정도 어렵습니다. 시간이 한정되어 있다면 이미지와 제목에 먼저 손대세요. 효과가 큰 항목부터 손대면 같은 시간으로 더 큰 결과를 얻으므로 순서를 지키는 것이 중요합니다.
2. 2하루 판매량이 적은 역직구에서는 통계적으로 엄밀한 테스트가 어렵습니다. 현실적인 방법은 2주 단위로 하나씩만 바꾸고 노출, 클릭률, 전환율, 판매량을 비교하는 것입니다. 최소 노출 1,000회 또는 판매 20건이 쌓여야 판단할 수 있습니다. 그보다 적으면 우연의 범위입니다. 표본이 부족한 상태에서 내린 결론은 다음에 재현되지 않으므로 최소 기준을 정해두세요.
3. 3제목과 이미지와 가격을 동시에 바꾸면 무엇이 효과를 냈는지 알 수 없습니다. 판매가 늘어도 다음에 재현할 수 없습니다. 변경 항목, 변경일, 이전 2주와 이후 2주의 지표를 기록하는 표를 만드세요. 이 기록이 쌓이면 자기 상품에 무엇이 통하는지에 대한 고유한 데이터가 됩니다. 변경 기록표는 몇 달만 쌓여도 자기 상품에 무엇이 통하는지에 대한 고유한 데이터가 됩니다.
4. 4시즌 효과와 경쟁 상황 변화가 결과를 오염시킵니다. 12월에 판매가 늘어난 것이 제목 덕분인지 시즌 덕분인지 구분해야 합니다. 가능하면 시즌 변동이 적은 시기에 테스트하고, 카테고리 전체 흐름과 비교해 상대적인 변화를 보세요. 절대 판매량만 보면 잘못된 결론에 이릅니다. 카테고리 전체 흐름과 비교해 상대 변화를 보면 시즌 효과에 속지 않고 판단할 수 있습니다.