2) 신뢰도
타당도와 더불어 신뢰도는 좋은 연구가 확보해야 할 중요한 조건이다. 신뢰도(reliability)는 행동 측정의 일관성을 의미한다. 즉, 동일한 대상을 반복측정하면 동일한 값을 얻어야 한다는 것이다. 그러나 현실적으로 동일한 대상을 반복측정하면 그 측정치가 항상 동일하지는 않다. 특히 행동의 측정에서는 더 그렇다. 이러한 변동성의 정도가 연구의 신뢰도를 결정한다. 연구자는 가능한 한 동일한 조건하에서 측정을 함으로써 이러한 변동성을 줄이려고 노력하여야 한다.
여러분의 신장을 연속 2회 측정한다고 가정해 보자. 한 번은 170.3cm, 한번은 170.8cm로 측정되었다. 이 차이가 측정의 오류에서 비롯된 것인지, 실제 키의 변화에서 비롯된 것인지 우리는 알 수 없다. 다만, 확실한 것은 아주 짧은 시간 간격을 두고 반복측정하면 측정치 간의 차이가 다소 줄어들 것이라는 점이다. 이러한 논리에서 측정의 신뢰도를 향상시키기 위한 몇 가지 방법이 고안되었다.
검사 - 재검사신뢰도
검사 재검사신뢰도(test-retest reliability)는 짧은 시간 간격 동안 연속해서 같은 검사를 두 번 실시하는 것을 말한다. 신뢰도 결과는 두 검사 점수의 상관계수로 나타내는데, 상관계수가 클수록 높은 신뢰도를 나타낸다. 검사-재검사신뢰도의 단점은 피험자의 학습 효과가 유발될 수 있다는 점이다.
동형검사신뢰도
동형검사신뢰도(parallel form reliability)는 피험자의 학습 효과를 방지하기 위하여, 문항 내용은 다르지만 측정 내용, 문항 수, 문 항 형식, 난이도 등이 같은 두 개의 동형검사를 제작하여 동일한 대상에게 연속적으로 실시하는 것을 말한다. 이 검사의 신뢰도 또한 두 검사 점수 간의 상관계수로 나타내고, 상관계수가 클수록 높은 신뢰도를 의미한다.
반분신뢰도
반분신뢰도(split-half reliability)는 피험자 집단에게 한 번의 검사를 실시한 후 적절하게 평가 도구를 반분하여 분할된 각 부분을 독립된 검사라고 여기고 두 부분에 대한 상관계수를 구하는 것이다. 반분신뢰도는 검사 재검사신뢰도가 부적합하다고 판단되거나, 동형검사를 제작하기 어려울 때 사용한다. 반분된 두 검사 간 상관계수가 높다면 신뢰도가 높음을 의미한다.
[밀러의 내장학습 실험]
밀러(N. Miller)는 학습은 수의적 반응에서만 일어나고 불수의적 자율신경계에서는 고전적 조건화만 일어난다는 기존 관념을 실험을 통해 바꾸어 놓았다. 사실 손을 움직이거나 말하는 것과 같은 반응은 개인의 의지로 통제할 수 있으나 심장 박동이나 장의 수축, 혈압과 같은 불수의 적 반응들은 통제할 수 없고, 따라서 가르칠 수 없다.
밀러는 한 집단의 직에게는 심장 박동 비율이 올라갈 때 보상을 하고, 다른 집단의 쥐에게는 심장 박동 비율이 내려갈 때 보상을 하였다. 밀러가 부딪힌 가장 큰 문제는 가외변인의 통계였다. 예컨대, 신체적 동작과 같은 심장박동 비율을 변화시키는 수많은 다른 요인이 존재하였다.
이러한 가외변인을 통제하기 위하여 밀러는 쥐를 마취시켰다. 마취된 쥐에게 보상을 주는 방법으로 뇌의 보상중추에 직적인 전기 자극을 가하였다. 즉, 한 집단의 쥐에게는 심상 박동이 증가할 때 전기 자극을 주고, 다른 집단의 쥐에게는 심장 박동이 감소할 때 전기 자극을 주었다. 그 결과 두 집단 각각 평균 20%의 심장 박동 비율의 변화가 나타냈다.
밀러는 이외의 여러 가지 불수의적 반응, 즉 장의 수축, 뇨형성, 혈압 등을 훈련시키는 데 성공하여 내장반응도 학습될 수 있다는 것을 증명하였다. 그러나 이를 사람에게도 적용할 수 있을까(Miller, 1969)?