인과관계 추론과 타당도 핵심 정리

• 조사 설계의 기초 중 가장 중요한 것은 인과관계의 추론이다.
• 인과관계 추론의 요건은 원인이 결과보다 시간적으로 앞서는 것과 원인과 결과 사이에 경험적 상관관계가 있는 것이다.
• 타당도는 내적타당도와 외적타당도로 구분되며 이를 만족해야 조사 설계의 신뢰를 확보할 수 있다.

인과관계 추론의 두 요건

• 사회과학 자료에서는 두 변수의 시간적 순서가 단순하고 명백하지 않은 경우가 많다.
• 루빈(Rubin, 1991)의 연구처럼 의도한 효과가 개입보다 먼저 나타나는 애매한 사례도 있다.
• 경험적 관계에서 완벽한 상관관계는 거의 존재하지 않는다.
• 인과관계로 규명하려면 관계의 강도가 어느 정도여야 하는지 따져 보아야 한다.

내적타당도와 외적타당도

• 내적타당도는 정책 집행 후 나타난 변화가 정말 그 정책 때문인지 다른 요인 때문인지를 밝히는 것이다.
• 내적타당도는 정책 수단과 효과 사이의 인과관계를 정확히 파악하는 평가의 핵심이다.
• 외적타당도는 조사 결과를 다른 대상과 상황으로 일반화할 수 있는 정도와 관련된다.
• 구인 사이의 외적 관계를 조사하는 것은 Benson(1998)에 의해 권장된다.

외적타당도 저해요인과 제고 전략

• 표본이 이질적인 대상 전체를 대표하지 못하면 외적타당도가 떨어진다.
• 호손효과는 실험 대상이라는 사실 때문에 평소와 다른 행동을 하는 경우다.
• 플라시보 효과는 심리적 기대와 믿음 때문에 예측과 다른 효과가 나타나는 경우다.
• 내적타당도는 무작위 배정과 짝짓기로, 외적타당도는 무작위 표본추출과 이질적 표본 추출, 반복 실험으로 높일 수 있다.

내적타당도와 외적타당도 비교

핵심 개념

• 시간적 선행성 — 원인이 결과보다 먼저 일어나야 한다는 요건
• 무작위 배정 — 대상이 실험집단과 통제집단에 배정될 기회를 동일하게 하는 방법
• 짝짓기 — 관련 변수가 유사한 대상끼리 짝지어 두 집단에 나누는 방법
• 호손효과 — 관찰받는다는 사실로 행동이 달라지는 현상

자주 묻는 질문

• Q. 인과관계 추론의 두 가지 요건은 무엇인가요?
  A. 원인이 결과를 시간적으로 선행해야 하고, 원인과 결과 사이에 경험적인 상관관계가 있어야 한다.
• Q. 시간적 순서를 판단하기 어려운 예로 무엇이 제시되나요?
  A. 정신질환을 앓는 가족 구성원과 가족의 낮은 사회경제적 지위 가운데 무엇이 먼저인지 판단하기 어려운 사례가 제시된다.
• Q. 호손효과는 어떤 타당도를 저해하나요?
  A. 실험 대상이라는 사실 때문에 평소와 다르게 행동하게 되어 실험 결과를 일반화하기 어렵게 만드는 외적타당도 저해 요인이다.
• Q. 내적타당도를 높이는 방법은 무엇인가요?
  A. 실험집단과 통제집단의 동질성을 확보하는 것으로, 무작위 배정이나 짝짓기를 활용하는 것이 효율적이다.

정리

인과관계 추론의 두 요건을 사례로 설명하고 내적타당도와 외적타당도의 개념과 저해 요인을 정리한 뒤, 집단 동질성 확보와 표본 대표성 제고, 기존 연구 활용과 반복 실험을 통한 타당도 제고 전략을 제시하며 마무리한다.