1. 프로젝트 개요 (Overview)

"이론으로만 배우는 A/B 테스트는 그만. 직접 해보세요!"

• NovaRium Edu는 초보 분석가와 PM을 위한 실전 훈련 프로그램입니다.
• 복잡한 툴 사용법을 몰라도 괜찮습니다. 친절한 5단계 가이드(Interactive Guide)를 따라가다 보면 어느새 실험 하나를 완수하게 됩니다.

2. 핵심 가치 (Core Value)

1. Learning by Doing (직접 해보기)
   가설부터 분석까지, A/B 테스트의 전 과정을 하나하나 직접 조작하며 배웁니다.
2. Simulation & Interaction (시뮬레이션)
   단순히 보는 것이 아닙니다. MDE, 표본 수 등 주요 변수를 직접 설정해보고, 그에 따라 결과가 어떻게 달라지는지 즉시 확인합니다.
3. Experiment Retrospective (나만의 성장 기록)
   단순한 실습으로 끝나지 않습니다. 내가 수행한 모든 실험을 상세한 성적표로 남겨 포트폴리오로 활용하세요.

3. 주요 기능: 5단계 마스터 클래스 (1~2)

1단계: 목표 정하기 (Hypothesis)

• 배달 앱(NovaEats)의 매출을 올리기 위해 "어떤 부분을 고치면 좋을지" 상상해보고 목표를 정합니다.

2단계: 실험 설계하기 (Design)

• 이 실험이 우연이 아니라고 확신하려면 "최소 몇 명의 사람에게 보여줘야 할까?"를 계산해봅니다. (Power Analysis)
• 가드레일(Guardrail): 실험이 성공하더라도 "환불률이 치솟으면 중단해야 한다"는 안전 장치를 설정합니다.

3. 주요 기능: 5단계 마스터 클래스 (3~4)

3단계: 팀 나누기 (Sampling)

• "사다리 타기(Hash)" 규칙을 이용해 방문자들을 A팀(기존 화면)과 B팀(새로운 화면)으로 공정하게 나누는 과정을 눈으로 확인합니다.

4단계: 데이터 모으기 (Collection)

• 가상의 고객 1,000명이 앱에 들어와서 버튼을 누르고 구매하는 모습을 지켜봅니다.
• 실시간으로 데이터가 차곡차곡 쌓이는 과정을 생생하게 경험할 수 있습니다.
• Agent Swarm: 5가지 성향(충동형, 신중형 등)을 가진 AI 에이전트들이 실제 앱을 방문하여 구매하는 현실적인 시뮬레이션을 제공합니다.

3. 주요 기능: 5단계 마스터 클래스 (5)

5단계: 결론 내리기 (Analysis)

• 모인 데이터를 분석해서 최종 결정을 내립니다.
• "B화면이 A화면보다 정말 더 나은가?"를 통계적으로 판단합니다. (P-value 검정)

4. 주요 기능: 실험 회고록 (Retrospective)

나만의 데이터 분석 일기장

• 상세 성적표: 내가 실험을 어떻게 설계했고, 결과는 어땠는지 꼼꼼하게 기록해줍니다.
• Drill-down View: 클릭 한 번으로 각 실험의 상세 지표(Target, Metric, Lift 등)를 다시 확인하여 복기할 수 있습니다.
• 주제별 모아보기: '메인 배너 실험', '결제 화면 실험' 등 관심 있는 주제별로 나의 성장 과정을 모아봅니다.

5. 주요 기능: 종합 상황실 (Monitoring)

서비스의 건강 상태를 한눈에

• 30일 트렌드: 지난 달의 방문자, 클릭률, 구매율 변화를 차트로 확인합니다.
• 위기 감지(Crisis Alert): 지표가 급락하면 "비상 경고"를 띄우고, 바로 해결 실험을 시작할 수 있도록 돕습니다.

6. 기술 스택 (Tech Stack)

• Streamlit: Python만으로 빠르게 웹 애플리케이션 화면을 구현합니다.
• DuckDB: 별도 서버 설치 없이, 내 컴퓨터에서 대용량 데이터 분석(SQL)을 빠르게 처리합니다.
• Scipy: 신뢰할 수 있는 통계적 검정(P-value 계산) 기능을 수행합니다.
• Plotly: 사용자와 상호작용할 수 있는 반응형 차트를 그립니다.

7. 데이터베이스 구조 (Data)

• users: 고객 정보 (누가?)
• orders: 구매 내역 (얼마나 샀나?)
• assignments: 실험 참가 기록 (어느 팀에 배정됐나?)
• events: 행동 기록 (무엇을 클릭했나?)
• experiments: 실험 결과 기록 (내 실험 일지)