1) 타당도
타당도는 측정하고자 의도한 것을 실제로 측정해 낸 정도를 의미하며, 내적 타당도와 외적 타당도로 나뉜다.
내적 타당도
내적 타당도는 연구에서 관찰한 결과에 대해서 인과관계를 확신할 수 있는가를 말한다. 즉, 연구의 결과, 독립변인의 변화가 종속변인의 변화를 유발시켰는지 혹은 그 밖의 다른 요인이 종속 변인의 변화를 유발시켰는지에 관한 문제다. 만약 종속 변인의 변화가 독립변인 때문이 아니라면 반드시 어떤 가외변인이 있었을 것이다. 실험자로서 무엇보다도 중요한 것은, 실험의 내적 타당도에 위협을 주는 요인들을 제대로 알아낼 수 있는 능력이며, 그리고 이러한 위협 요인을 피할 수 있는(즉, 통제할 수 있는) 능력이다.
내적 타당도를 향상시키는 방법은 앞서 살펴본 가외 변인의 통제와 무선할당이다. 대개 실험실 연구는 내적 타당도를 확보하기에 적합하다. 실험실은 자연환경에 비해서 가외변인의 통제가 용이하므로 독립변인과 종속 변인 간 인과관계를 발견하기에 용이하다. 또한 피험자의 무선할당을 통해 내적 타당도를 위협하는 요인을 상당히 제거할 수 있다.
내적 타당도를 위협하는 요인
내적 타당도 확보를 위협하는 요인에는 다음과 같은 여러 가지가 있다.
㉠ 피험자 특성
피험자는 그들 나름대로의 고유한 특성을 갖고 있다. 성, 신장, 체중, 피부색, 태도, 성격, 운동능력, 정신능력 등이 그것이다. 피험자들을 실험집단과 통제집단에 할당할 때 이러한 특성이 두 집단 간에 동일하게 할당되지 않는다면 내적 타당도를 침해하게 된다. 즉, 피험자들의 특성이 두 집단에서 서로 다르다면, 두 집단에서 발생한 종속 변인에서의 차이가 독립변인에 의한 것인지, 피험자 특성의 차이에서 기인한 것인지를 알 수 없다.
㉡ 외적 사건
외적 사건 또한 내적 타당도에 영향을 준다. 종속변인을 Time 1에서 측정하고 독립변인을 처치한 후, Time 2에서 다시 측정하였다고 하자(이것을 사건 사후 검사라 한다), 이때 어떤 사건이 우연히 Time 1과 Time 2 사이에 발생하였다면, Time 1과 Time 2에서 측정된 종속 변인의 차이는 독립변인의 효과 때문이 아니라 우연히 발생한 사건 때문일 수 있다.
㉢ 피험자 성숙
피험자는 실험과정 중에 변화한다. 피험자의 변화란 시간의 경과에 따른 생물학적 성장일 수도 있고, 피로와 같은 단기적인 것일 수도 있다. 종속변인이 시간의 경과를 두고 두 번 이상 반복 측정되는 경우, 피험자의 변화는 종속 변인의 차이를 야기할 수 있다.
㉣ 피험자의 학습 효과
종속변인을 동일한 측정도구를 사용하여 반복 측정하면, 피험자는 측정도구를 학습하게 된다. 이러한 학습 효과로 인하여 나중의 측정치가 영향을 받게 된다.
㉤ 측정도구의 변화
피험자의 학습 효과를 방지하기 위하여 사전-사후 검사에 동일하지 않은 도구를 사용하였을 때, 종속 변인의 변화가 독립변인에 의한 것인지, 사전-사후 검사의 상이함 때문인지 알 수 없다.
㉥ 평균으로의 회귀
사전검사에서 극단적으로 높은(또는 낮은) 점수를 받은 피험자는 사후검사에서 낮은(또는 높은) 점수를 받음으로써 평균에 근접하게 되는 경향을 말한다. 이러한 경향성으로 인하여 독립변인의 효과가 없음에도 불구하고 종속 변인에서의 변화가 관찰될 수 있다.
㉦ 피험자 상실
실험이 종료되기 전에 피험자가 탈락하는 경우를 말한다. 두 집단을 대상으로 처치 효과를 비교하는 실험이 있다고 하자. 한 집단의 피험자가 개인적 사정을 이유로 실험 도중에 포기하였다. 남아 있는 피험자를 대상으로 종속 변인을 측정한 결과, 집단 간 유의미한 차이가 있었다면, 이 차이는 처치에 의한 차이가 아니라, 집단 간 피험자의 불균형에서 비롯되었을 수 있다.
㉧ 선택 - 성숙 상호작용
피험자 선택과 피험자 성숙이 상호작용할 수 있다. 어떤 교육 프로그램을 남자 어린이 집단과 여자 어린이 집단에게 일정 기간 실시하고 난 후 그 결과를 측정하였더니 남자 그룹보다 여자 그룹에서 더 높은 점수를 얻었다고 하자. 이 결과로 교육 프로그램이 여자 어린이들에게 더 효과가 있다고 확신할 수 없다. 여자 어린이들의 인지발달 속도가 남자보다 더 빨라서 그러한 결과가 나타났을 수 있기 때문이다.
㉨ 실험자 편파
원하는 결과를 얻고 싶어 하는 연구자의 기대나 태도가 피험자에게 영향을 미침으로써 발생하는 오류다. 실험자가 피험자에게 구두로 지시하거나, 피험자의 결과를 측정할 때, 실험자는 자신이 기대하는 결과가 나오도록 의식적·무의식적인 편파(bias)를 나타낼 수 있다. 이러한 편파를 방지하기 위하여 실험의 목적이나 가설을 알지 못하는 다른 연구자로 하여금 실험을 진행 시키도록 하는 차단 기법(blind technique)을 사용할 수 있다.
외적 타당도
외적 타당도는 연구 결과를 다른 사람, 다른 환경에 일반화(generalization) 시킬 수 있느냐의 문제다. 대학생을 대상으로 운동능력과 우울 수준 간의 관계를 조사한 후, 그 결과를 모든 연령층의 사람에게 일반화하려 한다면 외적 타당도에 위협이 발생하게 된다. 외적으로 타당하지 않은 연구 결과는 원래의 실험 상황과 피험자 집단에만 국한되어 적용된다. 그렇다고 해서 관찰이 완전히 타당하지 않다는 것을 뜻하지는 않는다. 다만, 연구의 결과가 특정 환경 상황에 제한되어 있다는 것이고, 따라서 일반적인 중요성은 적다는 의미다.
외적 타당도는 내적 타당도 문제와 관련되어 있다. 내적 타당도가 없다는 말은 연구 자체가 잘못된 것이라는 의미이므로, 내적 타당도가 없는 연구에 대해 외적 타당도를 검토하는 것은 무의미하다. 반면, 내적 타당도가 완벽히 갖춰졌다고 해서 외적 타당도가 보장되는 것은 아니다. 즉, 내적 타당도는 외격 타당도의 필요조건이지만 충분조건은 아니다.
외적 타당도는 건집 타당도와 생태학적 타당도의 두 측면에서 검토하여야 한다. 전집 타당도(population valility)는 연구 결과를 다른 피험자에게 일반화할 수 있느냐의 문제고, 생태학적 타당도(ecological valiclity)는 실험 상황이나 조건과 유사한 다른 상황이나 환경에 대하여 일반화할 수 있느냐의 문제다. 전집 타당도는 전집의 특성을 충분히 반영하고 있는 표본을 샘플링함으로써 어느 정도 극복할 수 있다. 대개는 무선 표집을 통하여 전집 타당도를 확보한다. 무선 표집은 전집을 구성하는 각 구성원이 추출될 확률이 모두 동일하게 주어지는 표집 방법이다. 생태학적 타당도는 연구 결과를 연구 환경이 아닌 좀 더 현실적인 다른 환경에 적용시킬 수 있는지를 검토하는 것이다.
외적 타당도를 위협하는 요인
외적 타당도를 위협하는 요인은 다음과 같다.
ⓐ 표본의 대표성
대부분의 연구는 표본을 추출하여 행하게 된다. 그러나 표본이 전집을 대표하지 못한다면, 즉 표본의 특성이 전집의 특성과 다르다면 연구의 결과를 전집에 일반화하기는 불가능하다.
ⓑ 피험자의 반응성
피험자들이 실험에 참여하고 있다는 것을 의식하면 평소의 행동과는 다른 행동과 반응을 보일 수 있다. 피험자의 부자연스러운 반응과 행동은 연구 결과를 왜곡시킬 수 있으며, 이러한 결과를 다른 상황에 일반화하는 것은 위험하다.