심리검사는 언제 측정하더라도 점수들 간의 차이가 크지 않고 일관적이어야 하며, 측정하고자 하는 것을 충실하게 측정해야 측정 도구로서의 가치를 지니게 된다. 이를 흔히 검사의 신뢰도와 타당도라고 하며, 검사의 가치를 판단하는 중요한 측면이다. 전자가 측정하고자 하는 것을 얼마나 정확하게 측정하느냐와 관련이 있다면, 후자는 무엇을 측정하느냐에 초점이 맞춰져 있다.
1) 신뢰도
신뢰도(reliability)란 한 검사가 개인의 특성을 측정할 때 얼마나 오차 없이 측정하고 있느냐의 개념으로서, 검사 점수들의 반복 가능성 및 일관성과 관련이 있다. 즉, 검사가 어떤 대상을 일관성 있게 측정하면 그 검사는 신뢰할만하다고 할 수 있다. 검사 신뢰도가 높다면 같은 집단을 시점을 달리해서 반복 측정하더라도 집단 내 사람들의 점수 순서는 대체로 동일하게 유지될 것이다. 하지만 동일인에게 동일한 검사를 실시하여도 검사 점수는 일반적으로 어느 정도 차이가 나게 마련인데, 이는 측정 오차가 작용하기 때문이다. 이런 측정 오차는 여러 가지 요인에 의해서 영향을 받게 되는데, 주로 검사자의 상태나 지시, 피검자의 검사받는 시기, 장소, 기분, 건강 상태 그리고 검사 문항 표집에 따른 오차 등이 중요한 요인이다.
물리학이나 화학 등의 분야에서는 이러한 측정 과정에서의 오차를 알아보기 위해, 동일한 대상을 몇 번이나 반복 측정하여 점수의 변산 정도를 나타내는 측정의 표준오차를 계산하여 측정 과정이나 도구의 신뢰도를 구하고, 이런 오차의 한계를 고려하여 측정 결과를 해석한다. 하지만 인간을 측정 대상으로 하는 경우에는 이런 반복 측정은 불가능하므로, 한 사람을 반복 측정하는 대신에 여러 사람을 동시에 측정하여 오차의 정도를 추정할 수밖에 없다.
이와 같은 신뢰도를 추정하는 방법에는 여러 종류가 있는데, 동형 검사나 또는 동일한 검사를 2회 이상 실시하여 신뢰도를 추정하는 동형검사신뢰도와 검사-재검사신뢰도가 있고, 반면에 1회만 실시하여 신뢰도를 추정하는 단일 검사신뢰도 (반분신뢰도와 문항내적 합치도)가 있다.
2) 타당도
신뢰도와 함께 중요한 개념이 타당도(validity)인데, 이는 한 측정 도구가 문항 제작 시 의도했던 목적을 어느 정도 충실히 측정하고 있느냐 하는 검사의 능력을 의미한다. 즉, 검사가 측정하고자 하는 바를 객관적으로 측정할 때 그 검사는 타당도가 있다고 한다. 하지만 현재 타당도의 정의는 검사가 제대로 만들어지고, 잘 실시되고, 올바르게 채점, 해석되어 피검자에게 의미 있게 적용되는 것, 모두를 포괄하고 있다. 이러한 타당도를 검증하는 방법에는 여러 유형이 있으나, 주로 검사 도구가 측정하고자 하는 내용을 충실히 측정하는지를 분석하는 내용타당도, 검사 결과가 경험적 기준과 얼마나 관련이 있고 예언할 수 있는지를 분석하는 준거타당도, 그리고 검사 결과의 요인이 그 검사의 이론적 개념과 얼마나 일치하는지를 분석하는 구성타당도 등이 대표적이다.
3) 표준화 및 규준
흔히 심리검사를 표준화된 측정이라 하는데, 여기서 말하는 표준화는 실시 및 채점에서의 일관성을 의미한다. 심리검사는 한 검사를 여러 사람에게 실시할 때 피검자가 달라도 검사 실시나 채점 방법이 동일하여 측정된 결과를 서로 비교할 수 있다. 따라서 심리검사의 표준화 과정은 검사의 실시, 채점 그리고 해석 방법을 일정하게 하여 검사 과정을 동일하게 만드는 과정이다.
검사의 표준화를 위해 검사의 실시 및 채점에 대한 상세한 지시 사항이 매뉴얼에 포함되어야 하며, 실제 검사자들은 매뉴얼에 맞게 검사 도구의 올바른 사용, 시간 제한 엄수, 검사의 예시나 연습문제 제시, 검사 중 질문에 대한 응답 등을 일관적으로 정확하게 수행해야 한다. 또한 표준화를 위한 규준 설정도 중요한 문제인데, 측정된 검사 점수는 그 검사에 대한 정상적인 분포인 규준과 비교된다. 한 개인이 집단 내에서 어느 정도인지를 모른다면 개인의 점수는 의미가 없게 된다. 즉, 만일 한 개인이 100점 만점의 시험에서 90점의 높은 점수를 얻었다 하더라도 다른 응시자들의 평균에 대한 정보가 없이는 그가 잘한 것인지 못한 것인지 판단할 수 없다. 그러므로 어떤 검사가 올바르게 사용되기 위해서는 규범적 분포인 규준이 반드시 있어야 한다.