연구설계는 실증적 연구에서의 자료를 수집하기 위한 포괄적인 연구 계획을 말한다. 즉, 특정한 연구질문에 대한 해답을 얻거나 가설을 검증하기 위한 연구 과정을 의미하며, 실증적 연구의 ‘청사진(blueprint)’ 과 같은 것이다. 연구설계는 다음과 같이 세 단계를 거치며 구체화 시킬 수 있다. (1) 자료수집(data collection), (2) 측정도구 개발(instrument development), (3) 표본추출(sampling)이 그것이다. 이번 시간에는 연구설계와 맥락을 같이 하기도 하는 데이터 수집 과정에 대해 알아보기로 한다.

자료수집(data collection) 방법은 보편적으로는 실증적 방법과 해석적 방법 두 가지로 크게 구분된다. 실증적 방법(positivist method)은 통상 연구실의 실험이나 설문조사 등 이론과 가설을 검증하는 데 사용되고, 해석적 방법(interpretive method)은 행동연구나 사회문화 연구에서 이론을 수립하는데 적용된다. 실증적 방법에서는 연역적 접근을 바탕으로 한 실증적 데이터를 수집하여 이론을 실증적으로 검증한다. 반면, 해석적 방법은 귀납적 추론을 바탕으로 수집된 데이터에서 현상을 이론으로 이끌어 정립한다. 실증적·해석적 방법은 주로 양적 조사(quantitative research)와 질적 조사(qualitative research)가 종종 혼용 되어 사용하는데, 양적 조사와 질적 조사는 수집·분석된 자료의 종류를 의미한다. 다시 말해, 점수나 단위와 같이 수치상으로 나타나는 데이터들로 회귀분석 등을 자료분석을 하는 것을 양적 연구, 심층면접이나 인터뷰 및 관찰로 얻어진 자료를 기반으로 코딩(coding) 하여 그 의미를 해석하는 것을 질적 연구라고 한다. 실증적 연구는 양적 자료를 주로 활용하지만, 질적 자료 또한 연구 대상에 포함된다. 해석적 연구에서는 주로 질적 자료를 기반으로 하지만 양적 자료를 참고 하기도 한다. 이렇듯, 질적 자료와 양적 자료 중 어느 것에 치우치지 않고, 연구 목적에 적절히 함께 활용하는 혼합조사설계(mixed-mode design)가 복잡한 사회 현상에 대하여 보다 참신한 통찰력을 도출하는데 많은 도움이 된다.

1. 연구설계의 기본 요건

연구설계가 얼마나 해당 가설과 연구주제를 정확하게 검증할 수 있는지는 다음의 주요 네 가지 요건을 충족하는지 살펴보아야 한다. (1) 내적 타당성(internal validity), (2) 외적 타당성 (external validity), (3) 개념 타당성(construct validity), (4) 통계적 결론 타당성(statistical conclusion validity)

내적 타당성(internal validity)은 통상 인과관계(causality)라고도 하는데, 종속변수의 변화가 다른 연구 범위 밖의 외생 변수들이 아닌 실제 이론상에서 정의된 독립변수의 변화 때문에 일어난 것인가에 관한 것이다. 인과관계를 성립하기 위해 필요한 세 가지 조건은 다음과 같다. (1) 원인과 결과 사이의 공변량(covariance): 어떠한 결과가 일어나기 위해서는 원인이 존재 하여야 하며, 원인이 없으면 결과 또한 발생하지 않는다. (2) 사건의 일관성: 원인은 결과보다 먼저 앞서서 발생해야 한다. (3) 대체 설명의 부재 혹은 허위상관(spurious correlation)이 존재하지 않아야 한다. 실험실 연구와 같은 연구설계는 외생변수가 철저하게 통제되는 동안에 조작을 통한 독립변수에 따른 종속변수의 변화를 관찰함으로써 내적 타당성은 타 연구에 비해 높다. 그러나, 현장조사(field surveys)와 같은 연구에서는 현실적으로 독립변수에 영향을 주는 외생변수의 통제가 어렵다. 왜냐하면 원인과 결과가 일시적으로 동시에 측정되고 원인과 결과를 제대로 설명할 수 있는 사건의 일관성 또한 보장하기가 어렵기 때문이다. 실험실 연구가 비록 타 연구에 비해 내적 타당성이 상대적으로 높다 하더라도 연구 내에서 사전 배경지식, 사전연구, 분석내용 등에서 오차 등 다양한 변수가 생길 수 있기 때문에 그 타당성을 늘 보장할 수 없다. 이것에 대한 구체적인 설명은 이후 실험설계 부분에서 논의될 것이다. 무엇보다도 연구자는 연구의 목적 및 방법에 따라 충족되어야 할 내적 타당성의 수준이 각각 다르다는 것을 상기 할 필요가 있다.

외적 타당성(external validity)은 보편성이라고 하는데 이는 실험결과의 일반화에 관한 문제이며, 표본을 모집단으로 일반화(population validity) 시키거나, 혹은 시점 및 상황 등에 대한 확장(ecological validity)에 대한 것이다. 예를 들어, 어떠한 연구가 미국 내 금융기업을 대상으로 얻은 결과를 전 세계 금융기업 전체에 대해(population validity), 또는 미국 내 전체 기업을 대상으로(ecological validity) 적용할 수 있을까? 개인, 집단, 회사와 같은 폭넓은 연구대상을 바탕으로 설문조사하여 데이터를 수집하는 것이 여러 외생변수에 대해 제한 및 통제가 가능한 실험실 연구에 비해 현실세계의 현상을 일반화 하기가 수월하고 보편성을 상대적으로 높게 한다. 연구설계에 있어 나타날 수 있는 내적·외적 타당성의 범위는 [그림 1] 과 같이 나타날 수 있다.

[그림 1] 내적 타당성과 외적 타당성

일부 학자들은 내적 타당성과 외적 타당성 간에 상충관계(trade off)가 형성된다고 한다. 외적 타당성이 높을수록 내적 타당성이 낮거나, 그 반대의 경우가 된다는 주장이다. 그러나 이러한 주장은 일부에 해당한다. 현장실험(field experiment), 추적조사연구(longitudinal field survey), 다중사례연구(multiple case study)는 내적·외적 타당성이 모두 높게 나타나는 연구들이다. [그림 1] 에서 보듯이, 타당성의 추(cone of validity) 내에 위치하는 내적·외적 타당성이 적절한 수준의 연구를 선호한다. 그렇다고 해서, 추 외부의 연구들이 효용성이 떨어진다던가, 연구로서의 가치가 떨어지는 것은 아니다. 연구자들은 각자의 연구의 목적과 분야의 특성에 따라 부합하는 내적·외적 타당성의 정도를 결정하고 그에 따라 결정하는 것이다.

개념 타당성(construct validity)은 연구에서 측정하려고 하는 이론적 구성개념을 얼마나 정확하게 측정하는 가를 검사하는 것이다. 가령, 공감(empathy), 변화에 대한 기피(resistance to change), 체제 학습(organizational learning)과 같은 사화과학 구성개념들은 정의하기 어려우며 측정 하기도 쉽지 않다. 적합한 개념 타당성을 위해서는 공감(empathy)이라는 개념이 다른 유사한 개념에 빗대어 측정되지 않아야 한다. 실증적 연구에서 개념 타당성 측정은 예비검사의 상관관계 측정이나, 요인분석 (factor analysis)을 통하여 알아볼 수 있다.

통계적 결론 타당성(statistical conclusion validity)은 유효한 통계적 수치를 통해 결론을 검증하는 것이다. 가설을 검증하는데 적절한 통계 기법을 사용하였는지, 혹은 특정 통계적 기법들의 가정이 변수를 잘 포함하고 있는지 등을 보는 것이다. 특히, 해석적 연구 설계는 특별한 통계적 기법을 차용하지 않아 통계적 의미가 유의하지 않다. 서로 다른 종류의 타당성이 이론적 세계와 경험적 세계에서 어떻게 작용하는지 [그림 2] 에서 설명하고 있다.

[그림 2] 과학적 연구에서의 타당성 종류

2. 내적 타당성과 외적 타당성을 향상시키는 요건

연구자들이 기대하는 좋은 연구설계는 내적 타당성과 외적 타당성이 높은 연구이다. 외적 및 내적으로 타당성이 높은 연구는 가설을 검증하고 표본의 적용 범위를 넓혀 일반화 시키는 가장 기본적인 전제가 되기 때문이다. 연구의 내적 타당성(causality)을 높이기 위해서는 다음과 같은 통제방법이 있다. (1) 조작(manipulation), (2) 제거(elimination), (3) 상쇄(inclusion), (4) 통계의 통제(statistical control), (5) 무작위화(randomization)

연구설계 과정 중 독립 변수의 조작(manipulation) 혹은 실험자극(treatment)을 통하여 타당성을 높일 수 있다. 즉, 여러 단계에 걸쳐 실험자극을 주고, 자극을 준 집단과 그렇지 않은 집단 간의 효과를 비교하여 결과를 도출한다. 가령, 의학분야에서 실험자극은 새로 개발한 시약품, 교육 연구에서는 강의법 등이 있다. 이러한 실험자극을 활용한 통제는 실험연구(experimental) 또는 준실험연구(quasiexperimental) 설계에서 주로 이루어 지며, 설문조사와 같은 비실험연구에서는 쓰이지 않는다. 실험자극을 주는 연구과정에서 그 대상의 구분이 제대로 이루어 지지 않는다면, 실험자극이 미치는 영향을 정확하기 파악할 수 없다.

실험자극(treatment)를 통제한 상황에서 연구에 영향을 미치는 외생변수를 제거(elimination)하는 기법은 연구의 타당성을 높이기도 한다. 또한, 연구설계에서는 외생변수를 포함하고 요인설계에 따른 종속변수의 영향을 따로 분석 하는 방법을 인클루션기법(inclusion technique)이라고 한다. 특히, 일반화를 가장 높일 수 있는 방법 중 하나이며 많은 표집자료가 필수적이다. 통계적통제(statistical control)는 외생변수를 발굴하고 통계적 검증(statistical testing) 과정에서 공변량(covariates)을 측정함으로써 가능하다.

마지막으로 무작위기법(randomization technique)은 무작위 표본추출을 통한 외생변수에 대한 종속변수에 미치는 영향을 제거한다. 무작위화에는 두 가지 방법이 있다. (1) 모집단에서 표본을 무작위로 추출해내는 무작위선택(random selection), (2)확률적 방법으로 선택된 표본이 무작위로 처리집단에 배정하는 무작위배정(random assignment)이 있다. 무작위화는 실제 연구의 대상이 되는 모집단에서 표본집단을 추출하여 이론을 일반화시키는 외적 타당성에 적합하다. 표본의 자원과 제한적 요인들 때문에 무작위선택(random selection)이 어려울 경우 무작위배치(random assignment)를 해야 한다. 그러나 이 경우, 모집단이 여러 관점으로부터 구성되어 존재하여 연구자가 이를 통제할 수 없다면 일반화하기는 어렵다.