P-값 계산기

p-value
다음

해당되는 경우 자유도와 함께 z-검정, t-검정 또는 카이제곱 검정의 검정 통계량을 입력하면 계산기는 일측 또는 양측 가설에 대한 p-값을 반환합니다. 이는 통계 과제 및 A/B 테스트에서 필수적으로 사용되는 방법입니다. 데이터로부터 검정 통계량을 얻은 후에는 이를 귀무가설 하에서 최소한 동일하거나 더 극단적인 결과가 관찰될 확률로 변환합니다.

p-값은 어떻게 계산되는가

  1. 1

    분포를 선택하세요

    대표 표본의 평균 및 비율에는 z-검정을 사용하고, 표준편차가 알려진 소표본 평균에는 t-검정을 사용하며, 적합도 평가 및 연관성 표 분석에는 카이제곱 검정을 사용한다.

  2. 2

    통계치를 입력하세요

    데이터에서 관찰된 z값, t값 또는 카이제곱값입니다.

  3. 3

    꼬리를 선택하세요

    “양쪽 방향 모두에서 서로 다르다”는 경우에는 양측 검정을 사용하고, “더 크다” 또는 “작다”와 같은 방향성 가설의 경우에는 일측 검정을 사용한다.

  4. 4

    p-값을 확인하세요

    통계량을 초과하는 분포의 꼬리 부분에 해당하는 영역.

참조 표(양측)

통계량 p-값 해석
z = 1.64 0.10 한계값
z = 1.96 0.05 고전적 임계값
z = 2.58 0.01 강력
z = 3.29 0.001 매우 강력
t(20) = 2.09 0.05 자유도 df = 20일 때 약 1.96에 해당합니다
t(5) = 2.57 0.05 소규모 표본은 임계값을 상향으로 밀어낸다

p-값이 의미하는 바

p-값은 귀무가설이 성립한다고 가정할 때, 관찰된 검정 통계량만큼이나 극단적인 결과를 얻을 확률을 나타냅니다. p 값이 작다면 데이터는 귀무가설 하에서 발생할 가능성이 낮으므로, 귀무가설 자체가 잘못되었거나 단순히 불행했을 가능성이 있습니다.

p-값이 의미하지 않는 점

  • 이는 귀무가설이 참일 확률이 아닙니다.
  • 이는 해당 연구 결과를 재현할 확률이 아닙니다.
  • 이는 효과 크기가 아닙니다. 매우 미미하고 의미 없는 효과라도 충분한 표본 크기를 사용하면 p < 0.001을 얻을 수 있습니다.
  • 이는 ‘실제’와 ‘비실제’를 구분하는 기준이 아닙니다. 0.05는 법칙이 아니라 관례에 불과합니다.

한쪽 꼬리 대 두쪽 꼬리 선택

데이터를 확인하기 전에 명확한 방향성 가설(예: 해당 약물은 해롭지 않고 오직 유익할 뿐)을 설정하고 있을 때만 일측 검정을 사용해야 합니다. 그렇지 않을 경우 양측 검정을 사용해야 합니다. 이후 0.05 이하의 수준을 달성하기 위해 일측 검정으로 전환하는 것은 p-해킹(p-hacking)에 해당하며, 연구 결과의 타당성을 훼손합니다.

흔한 함정들

  • 다중 비교: 총 20번의 검정을 수행하며, 우연히 한 번은 p < 0.05에 도달할 것으로 예상합니다. 보너페로니 방법 또는 벤자미니-호크버그 방법을 사용하십시오.
  • N 값이 클수록 효과 크기는 작다. 수백만 명으로 구성된 표본에서는 0.1%의 차이조차도 유의미한 것으로 간주할 수 있다. 항상 효과 크기와 p값을 함께 제시해야 한다.
  • 이분화 분석. “유의미 vs 비유의미”라는 표현은 정보를 손실시킨다. p = 0.048과 p = 0.052는 사실상 동일한 수준의 증거력을 나타낸다.
  • 카이제곱 검정의 오인용법. p값은 통계량과 자유도 모두에 따라 결정된다. 카이제곱 값이 10일 경우 자유도 df=2에서는 유의미하지만(p=0.0067), df=20에서는 유의미하지 않다(p=0.97).

자주 묻는 질문

일반적으로 기준값은 0.05이지만, 임계값은 오류 발생 시의 비용 수준에 부합해야 합니다. 의학 임상시험에서는 흔히 0.01 이상의 기준을 사용합니다. 일부 분야에서는 기본값으로 0.005를 제안하기도 합니다.

표본이 클수록 표준 오차가 줄어들어 사소한 효과도 ‘유의미’로 간주될 수 있습니다. 항상 효과 크기(코헨의 d, 오즈비, 원시 차이)를 p-값과 함께 제시해야 합니다.

기본적으로 양측 검정이 적용됩니다. 일측 검정은 데이터 수집 전에 명확한 방향성 가설이 설정되어 있을 때만 타당합니다.

z는 집단의 표준편차를 알고 있다고 가정하는 경우(희귀한 경우)에 사용되며, t는 표본에서 이를 추정할 때 사용됩니다. 대규모 표본의 경우에는 두 지표가 수렴합니다.

이는 데이터가 귀무가설 하에서 비정상적일 것임을 의미합니다. 복제 가능성, 효과 크기 및 작용 메커니즘은 단일 p값보다 더 중요합니다.

관련 도구

이 도구는 다른 언어로도 제공됩니다