고전 검사 이론과 문항 반응 이론(2021, 고3, 10월)

사진: Unsplash 의 Sven Mieke

 

 

사물의 속성을 구체화하기 위하여 수치를 부여하는 절차를 측정이라고 한다. 가시적 속성의 경우 직접 측정이 가능하지만 인지적 영역과 같은 잠재적 속성은 직접 측정이 불가능하기 때문에 검사라는 도구를 사용하여 간접 측정을 한다. 이때 검사의 질은 각 문항의 특성에 의해 결정되는데, 문항의 특성은 문항의 난이도와 변별도 등으로 파악해 볼 수 있다.

1920년대 개발되어 현재까지 사용되고 있는 고전 검사 이론은 검사의 질을 분석하는 대표적인 검사 이론이다. 고전 검사 이론에서 피험자의 능력은 답을 맞힌 문항에 부여된 점수의 총점으로 결정한다. 또 문항의 어려움과 쉬움의 정도를 나타내는 난이도는 응답자 중 그 문항의 답을 맞힌 응답자의 수가 많을수록 낮다고 나타낸다. 그리고 어떤 문항이 피험자의 능력에 따라 피험자를 변별하는 정도를 나타내는 변별도는 해당 문항의 답을 맞혔는지의 여부와 총점의 관계를 의미하는 지수로 나타낸다. 만약 특정 문항에 대해 총점이 높은 피험자는 답을 맞히고, 총점이 낮은 피험자는 답을 틀렸다면 이 문항은 변별도가 높은 문항이라 분석한다. 고전 검사 이론을 활용하면 피험자의 능력과 문항의 특성에 대한 분석이 비교적 간단하지만, 문항의 특성이 피험자 집단에 따라 달라지거나 피험자의 능력이 검사의 특성에 따라 다르게 나타나는 한계가 있다.

이와 달리 문항 반응 이론에서는 피험자의 능력은 고유하며, 문항의 난이도나 변별도 역시 변하지 않는다고 간주한다. 문항 반응 이론에서는 피험자의 능력과 문항의 특성을 분석하기 위해 피험자의 응답에 기반하여 확률적으로 접근하는데, 이때 문항 특성 곡선이 활용된다. 문항 특성 곡선은 피험자의 능력(θ)에 따라 어떤 문항의 답을 맞힐 확률을 나타내는 S자 형태의 곡선이다.

i라는 문항이 제시되었을 때 능력이 낮은 피험자라 하더라도 일부는 문항의 답을 맞힐 수도 있을 것이며 능력이 높은 피험자라 하더라도 모두가 반드시 답을 맞힐 수 있는 것은 아니다. 따라서 i 문항에 응답하는 경향(Гᵢ)은 θ에 따라 정규 분포로 그려지게 될 것이고, 문항의 난이도가 Чᵢ일 때 Гᵢ가 이보다 높으면 문항의 답을 맞히게 될 것이다. 즉 <그림 1>과 같이 θ가 –1.3, 0, 1.5일 때 각각의 정규 분포가 그려진다면 Чᵢ보다 위에 있는 면적이 문항의 답을 맞힐 확률이 되어, θ가 –1.3인 집단의 답을 맞힐 확률은 0.2, θ가 0인 집단의 답을 맞힐 확률은 0.5, θ가 1.5인 집단의 답을 맞힐 확률은 0.92로 얻어진다. 이런 방식으로 각 능력에서 문항의 답을 맞힐 확률인 P(θ)를 구하고, 이를 연결하는 곡선을 그리면 <그림 2>와 같은 문항 특성 곡선이 나타난다.

 

(좌) <그림1>, (우) <그림2>

문항 특성 곡선은 능력이 낮은 집단의 P(θ)는 낮고, 능력이 높은 집단의 P(θ)는 높음을 나타내는 증가함수이다. 문항 특성 곡선에서 문항의 난이도는 위치 모수로 나타난다. 위치 모수는 문항의 P(θ)가 0.5일 때 그에 대응하는 θ 지점을 의미한다. 위치 모수는 오른쪽에 있을수록 어려운 문항으로 추정된다. 반면 문항의 변별도는 척도 모수로 나타난다. 척도 모수는 문항 특성 곡선의 기울기가 가파를수록 높다고 추정된다.

문항 반응 이론에서 θ는 검사를 구성하는 각 문항의 문항 특성 곡선으로부터 도출된 정보를 종합적으로 고려하여 추정할 수 있다. 예를 들어 어떤 피험자가 n개의 문항에 응답했다면 각 문항의 문항 특성 곡선에서 θ 를 임의의 값으로 설정하여 P₁(θ), P₂(θ), …, Pₙ(θ)를 구한다. 이렇게 구한 각각의 값은 ㉮ 피험자의 실제 응답과 차이가 있다. 그래서 θ 의 수치를 바꾸어 가면서 그 차이가 무시해도 될 정도로 매우 작아지는 θ 의 수치를 구해 이를 피험자의 능력으로 추정한다.

 

 

@ 2021학년도 10월 고3 전국연합학력평가 22~26번.

(출전) 성태제, 「문항 반응 이론의 이해와 적용」 ^[각주:1] 

 

 

 

 

1. 처음 이 지문을 읽었을 때는 '수학'이라고 생각해 '과학' 카테고리로 작성하려 했는데 놀랍게도 해설지에 '인문'이라고 되어 있어 '인문' 카테고리로 설정합니다. [본문으로]