[39 ～ 40] 다음 글을 읽고 물음에 답하시오.

표본에 의한 통계 가설의 평가로 가장 널리 알려진 방법은 ‘통계 가설이 틀리더라도 표본과 비슷한 자료를 얻게 될 확률’을 이용하는 것이다. 이 확률이 제법 높다면, 해당 통계 가설은 믿을 만한 근거가 없다고 판정된다. 왜냐하면 그런 확률을 가지는 표본은 해당 통계 가설이 거짓이라도 어렵지 않게 얻을 수 있는 것이기 때문이다. 하지만 그 확률이 제법 낮다면, 특히 어떤 정해진 문턱값보다 낮다면, 통계 가설이 참이라는 것에 대한 유의미한 증거가 있다고 결론 내린다. 왜냐하면 해당 통계 가설이 거짓이라면, 그런 표본은 쉽게 얻을 수 있는 것이 아니기 때문이다.

이 방법에서 연구자들이 평가하고자 하는 통계 가설은 ‘대립가설’이라고 불리고, 이 대립가설이 거짓이라는 가설은 ‘귀무가설’이라고 불린다. 귀무가설이 참일 때 표본과 비슷한 자료를 얻게 될 확률은 ‘p－값’이라고 한다. 그리고 p－값과 비교되어 대립가설이 참이라는 것에 대한 유의미한 증거의 존재 여부를 판단하는 기준이 되는 문턱값은 ‘유의수준’이라고 불리며, 일반적으로 0.05나 0.01이 많이 사용된다. 정리하면 p－값이 유의수준보다 작을 때 대립가설이 참이라는 것에 대한 유의미한 증거가 있고, 그렇지 않을 때 대립가설이 참이라는 것에 대한 유의미한 증거가 있지 않다고 본다. 예를 들어 보자.

연구자 갑은 이번에 새로 개발된 신약 A가 콜레스테롤 수치를 낮추는 데 효과가 있는지 확인하고 싶어 한다. 그는 ‘신약 A는 콜레스테롤 수치를 낮춘다’는 대립가설을 세우고, 이를 평가하기 위해서 ‘신약 A는 콜레스테롤 수치를 낮추는 데 아무 효과가 없다’라는 귀무가설을 검증한다. 갑은 먼저 실험군과 대조군을 무작위로 나누었다. 그리고 실험군에는 신약 A를, 대조군에는 가짜약을 제공한 뒤, 두 집단의 콜레스테롤 수치 평균의 차이를 관찰하는 실험을 진행하였다. 그 결과, 갑은 p－값이 0.04에 불과한 실험 결과를 획득하였다.

그는 이 실험 결과와 0.05라는 유의수준을 이용하여 ‘신약 A는 콜레스테롤 수치를 낮춘다’가 참이라는 것에 대한 유의미한 증거가 있다고 발표하였다. 위 사례는 p－값을 이용해 통계 가설을 평가하는 전형적인 모습을 보여준다. 하지만 이 방법을 사용하거나 이 방법을 사용한 연구를 평가할 때는 언제나 조심해야 한다. 왜냐하면 갑이 다음과 같이 실험 결과를 내놓는 경우를 생각해 볼 수 있기 때문이다. 사실 신약 A는 콜레스테롤 수치와 아무 상관없는 것이었다. 그로 인해 갑은 30번 정도 반복된 실험에서 모두 0.05보다 큰 p－값을 얻었다. 갑의 목표는 0.05보다 작은 p－값을 가지는 실험 결과를 얻는 것이었다.

우연히 그다음 실험에서 원하던 대로 0.05보다 작은 p－값을 얻었다. 정직한 과학자라면, 자신의 실험 결과를 모두 보고하고 이를 바탕으로 적절히 평가 받아야 할 것이다. 하지만 신약 A의 효과를 간절히 바랐던 갑은 그의 나머지 실험을 폐기하고 유의미한 증거가 나온 실험 결과만을 발표하였다. 이렇게 유의미한 p－값을 가지는 실험 결과가 나올 때까지 실험을 반복하고, 그 결과 중 일부만 발표하는 연구 부정 행위를 ‘p－해킹’이라고 부른다. 위 글에서 알 수 있는 것은?