HCI 연구설계 개론

연구질문에서 측정과 인과추론까지

Weekly content | Week 2 lecture PDF

2주차 학습목표

Note

이번 주 학습을 마치면 다음을 할 수 있어야 합니다.

  1. HCI 연구질문을 기술·연관·인과·해석 질문으로 구분한다.
  2. 연구설계와 자료수집 방법을 구분하고, 질문에 맞는 방법을 선택한다.
  3. 이론적 구성개념을 측정 가능한 변수로 조작화(operationalization)한다.
  4. 명목·순서·간격·비율 척도와 연속·이산 변수를 구분한다.
  5. 신뢰도와 타당도의 차이를 설명하고 측정도구를 비판적으로 평가한다.
  6. 실험에서 무작위 할당, 참여자 간·참여자 내 설계, 교란, 순서효과를 설명한다.
  7. 연구설계가 실제 데이터셋의 행과 열로 어떻게 이어지는지 설계한다.

오늘의 핵심 질문

어떤 데이터를 수집할 것인가보다 먼저, 그 데이터로 어떤 주장을 하려는지를 정해야 합니다.

  • 우리는 정확히 무엇을 알고 싶은가?
  • 누구와 어떤 맥락에 대해 말하려는가?
  • 어떤 비교가 그 질문에 답해 주는가?
  • 추상적인 개념을 어떻게 관찰 가능한 자료로 바꿀 것인가?
  • 이 설계로 어디까지 결론을 내릴 수 있는가?

HCI는 무엇을 연구하는가?

Human–Computer Interaction(HCI)은 사람, 디지털 기술, 과업, 사회적 맥락 사이의 상호작용을 이해하고, 설계하고, 평가하는 다학제적 연구 분야입니다.

초기의 HCI가 작업 속도, 오류율, 학습 용이성 같은 사용성(usability) 문제에 집중했다면, 오늘날의 HCI는 다음을 함께 다룹니다.

관심 영역 예시 질문
수행과 사용성 사용자가 과업을 얼마나 빠르고 정확하게 완료하는가?
사용자 경험(UX) 기술이 즐거움, 몰입, 불안, 피로에 어떤 경험을 만드는가?
Human–AI Interaction 사용자는 AI의 설명, 추천, 오류, 자율성을 어떻게 이해하고 신뢰하는가?
사회적 상호작용 플랫폼과 아바타가 관계, 협업, 정체성 표현을 어떻게 바꾸는가?
윤리와 포용성 인터페이스가 누구를 배제하며, 개인정보·편향·웰빙에 어떤 영향을 주는가?
Tip

HCI의 대상은 화면이나 장치만이 아닙니다. 사람이 기술을 사용하는 과업과 맥락 전체가 연구 대상입니다.

HCI 연구에서 설계가 중요한 이유

연구설계(research design)는 단순한 절차표가 아니라, 수집한 데이터가 어떤 주장을 지지할 수 있는지를 결정하는 논리적 청사진입니다.

flowchart LR
    A[Research Goal] --> B[Research Question]
    B --> C[Target Population & Context]
    C --> D[Constructs & Operationalization]
    D --> E[Design & Comparison]
    E --> F[Sampling & Data Collection]
    F --> G[Analysis]
    G --> H[Claim & Scope]

설계가 질문과 맞지 않으면 분석을 복잡하게 해도 근본적인 문제가 해결되지 않습니다.

  • 측정하지 않은 개념은 분석할 수 없습니다.
  • 비교 가능한 집단이 아니면 인과효과를 분리하기 어렵습니다.
  • 표본이 목표 집단과 다르면 일반화 범위가 제한됩니다.
  • 반복 측정 구조를 무시하면 독립성 가정이 깨질 수 있습니다.

분석은 연구가 끝난 뒤 붙이는 마지막 단계가 아니라, 연구설계 단계부터 역으로 상상해야 하는 과정입니다.

연구질문이 먼저, 방법은 나중

좋은 연구는 “어떤 통계기법을 쓸까?”가 아니라 다음 질문에서 시작합니다.

무엇을 알고 싶고, 어떤 관찰이나 비교가 그 질문에 답할 수 있는가?

예를 들어 “AI 설명이 신뢰에 영향을 주는가?”라는 아이디어는 아직 충분히 구체적이지 않습니다.

  • 어떤 AI 시스템인가?
  • 어떤 설명 방식끼리 비교하는가?
  • 누구를 대상으로 하는가?
  • 어떤 과업을 수행하는가?
  • 신뢰는 언제, 어떤 방법으로 측정하는가?
  • 신뢰의 차이인가, 실제 의존 행동의 차이인가?

구체화된 연구질문

처음 AI 의사결정 지원 도구를 사용하는 성인 이용자에게 사례 기반 설명과 특성 중요도 설명을 제시했을 때, 동일한 과업 수행 후 보고한 신뢰 수준에 차이가 있는가?

이제야 비교 조건, 대상, 맥락, 결과변수가 드러나기 시작합니다.

연구질문의 네 가지 유형

질문 유형 핵심 질문 가능한 설계·자료 허용되는 주장
기술(descriptive) 무엇이, 얼마나, 어떻게 나타나는가? 설문, 관찰, 로그, 기술통계 분포·빈도·패턴
연관(associational) X와 Y는 함께 변하는가? 설문, 패널, 로그, 회귀모형 관계·예측, 단 인과는 아님
인과(causal) X를 바꾸면 Y가 달라지는가? 무작위 실험, 타당한 준실험 설계와 가정이 지지하는 인과효과
해석·생성(interpretive/generative) 사용자는 왜 그렇게 경험하며, 무엇을 필요로 하는가? 인터뷰, 관찰, 사례연구, 참여적 디자인 의미·과정·설계 통찰

한 연구가 여러 유형의 질문을 포함할 수 있지만, 각 질문에 필요한 증거는 다릅니다.

Warning

상관관계가 강하거나 표본이 매우 크더라도, 설계가 인과 비교를 지지하지 않으면 인과관계를 자동으로 주장할 수 없습니다.

연구질문에서 검증 가능한 주장으로

연구질문(Research Question)

AI 설명 방식에 따라 사용자 신뢰가 달라지는가?

가설(Hypothesis)

사례 기반 설명을 받은 사용자는 특성 중요도 설명을 받은 사용자보다 과업 후 신뢰 점수가 높을 것이다.

목표 비교(Target Contrast; Estimand)

동일한 대상과 과업에서, 사례 기반 설명 조건과 특성 중요도 설명 조건의 평균 신뢰 차이는 얼마인가?

가설은 “통계적으로 유의할 것이다”라고 쓰기보다, 이론이 예측하는 현상과 방향을 명시하는 것이 좋습니다. 통계적 유의성은 분석 결과이지 연구 현상 자체가 아닙니다.

연구설계 청사진

연구를 시작하기 전에 다음 항목을 한 페이지 안에 설명할 수 있어야 합니다.

  1. 목표와 연구질문: 무엇을 알고 싶은가?
  2. 대상과 맥락: 누구에게, 어떤 기술·과업·환경에서 말하려는가?
  3. 분석단위: 사람, 세션, 과업, 시행(trial), 게시물 중 무엇인가?
  4. 구성개념: 신뢰, 몰입, 사용성처럼 직접 관찰하기 어려운 개념은 무엇인가?
  5. 조작화: 각 개념을 어떤 자극·문항·행동·로그로 표현할 것인가?
  6. 비교: 어떤 조건이나 집단을 비교해야 질문에 답할 수 있는가?
  7. 표집과 할당: 누구를 어떻게 모집하고 조건에 어떻게 배정할 것인가?
  8. 분석계획: 어떤 요약, 시각화, 모형, 불확실성 지표를 사용할 것인가?
  9. 윤리와 재현성: 동의, 개인정보, 제외 기준, 분석 기록을 어떻게 관리할 것인가?
  10. 주장의 범위: 결과로 무엇을 말할 수 있고 무엇은 말할 수 없는가?

먼저 구분하기: 연구설계와 자료수집 방법

기존 연구방법 설명에서 자주 생기는 혼동은 실험, 설문, 로그 데이터를 서로 경쟁하는 하나의 목록처럼 보는 것입니다. 그러나 이들은 같은 층위가 아닙니다.

  • 연구설계(design): 비교를 어떻게 만들고 어떤 추론을 할 것인가
    • 무작위 실험, 준실험, 관찰연구, 사례연구 등
  • 자료수집 방법(data collection): 무엇을 어떤 도구로 관찰할 것인가
    • 설문, 과업 수행 기록, 시스템 로그, 인터뷰, 관찰, 센서 등
  • 자료의 규모와 구조: 몇 명·몇 회·몇 개의 사건이 어떤 형태로 축적되는가
    • 소규모 심층자료, 반복측정자료, 대규모 로그 등

예를 들어 하나의 온라인 실험에서 다음을 동시에 수집할 수 있습니다.

  • 무작위로 배정된 인터페이스 조건
  • 과업 완료 시간과 오류 로그
  • 과업 후 만족도 설문
  • 일부 참여자 대상 후속 인터뷰

즉, 실험이면서 설문 연구이고 로그 연구이며 혼합방법 연구일 수 있습니다.

HCI에서 자주 사용하는 자료수집 방법

자료수집 방법 잘 포착하는 것 주요 한계
설문·자기보고 태도, 인식, 만족, 신뢰, 주관적 경험 회상오류, 사회적 바람직성, 공통방법편향
수행자료 완료시간, 성공률, 오류, 선택 과업과 지표가 실제 사용을 충분히 대표하는지 확인 필요
시스템 로그·디지털 흔적 실제 클릭, 탐색경로, 체류, 반복 사용 의도와 맥락이 보이지 않으며 계측 오류·선택편향 가능
인터뷰·포커스그룹 이유, 의미, 예상하지 못한 경험 표본이 작고 분석자의 해석과 절차가 중요
관찰·현장연구 실제 맥락, 협업, 우회 행동 통제가 어렵고 기록·해석에 많은 시간 필요
생리·센서자료 시선, 심박, 움직임 등 시간적으로 세밀한 반응 신호가 특정 심리상태를 직접 의미하지 않으며 전처리·해석이 복잡
Important

“객관적 데이터”와 “주관적 데이터”를 단순히 우열로 나누지 않습니다. 로그는 행동을 보여주지만 이유를 말해주지 않고, 설문은 경험을 알려주지만 실제 행동과 다를 수 있습니다.

방법을 선택하는 기준

방법은 데이터 크기보다 질문과 추론 목표에 맞춰 선택합니다.

연구 목표 우선 고려할 설계 보완하면 좋은 자료
두 인터페이스의 효과 비교 무작위 실험 수행자료 + 자기보고 + 조작점검
실제 장기 사용 패턴 파악 관찰 로그·패널 설문 또는 인터뷰로 맥락 보완
새로운 문제와 사용자 요구 발견 인터뷰·관찰·사례연구 프로토타입 평가 또는 후속 설문
서비스 출시 전 사용성 문제 진단 과업 기반 사용성 평가 관찰, think-aloud, 오류 로그
정책·시스템 변경의 영향 추정 준실험·중단 시계열 등 사전 추세, 비교집단, 질적 맥락

데이터가 많다는 사실은 다음 문제를 자동으로 해결하지 않습니다.

  • 측정의 부정확성
  • 표집 및 플랫폼 선택편향
  • 교란
  • 누락된 맥락
  • 잘못된 분석단위
  • 비윤리적 수집과 이용

실험: 인과적 비교를 설계하기

실험의 핵심은 연구자가 처치 또는 조건을 조작하고, 가능한 경우 참여자를 조건에 무작위 할당(random assignment)하여 비교 가능성을 높이는 것입니다.

예: 음성 인터페이스 연구

  • 요인 1: 음성 인식 정확도(높음 vs 낮음)
  • 요인 2: 응답 지연(짧은 지연 vs 긴 지연)
  • 결과: 과업 완료시간, 오류, 만족도, 재사용 의도
  • 통제: 과업 난이도, 음성 크기, 안내문, 장치, 실험 진행 절차

실험이 인과추론에 강한 이유는 단지 “독립변수와 종속변수가 있기 때문”이 아닙니다. 대안적 설명을 줄이는 비교 구조가 있기 때문입니다.

설문: 경험과 인식을 측정하기

설문은 신뢰, 만족, 인지된 유용성, 기술수용, 정서, 자기보고 행동처럼 직접 관찰하기 어려운 특성을 측정하는 데 유용합니다.

좋은 설문 문항은 다음을 지향합니다.

  • 한 문항에는 하나의 판단만 묻기
  • 모호한 시간범위를 피하고 회상기간을 명시하기
  • 유도질문과 가치판단적 표현을 피하기
  • 응답범주를 상호배타적이고 충분하게 만들기
  • 검증된 척도라면 문항·응답범주·채점법을 함부로 바꾸지 않기
  • 본 조사 전 인지면접(cognitive interview)이나 파일럿으로 이해도를 확인하기

이중질문(double-barreled question)

  • 좋지 않은 문항: “이 앱은 재미있고 유용하다.”
  • 개선: “이 앱은 재미있다.” / “이 앱은 유용하다.”
Warning

설문은 자료수집 방법입니다. 설문 안에 무작위 자극을 넣은 survey experiment는 인과 비교가 가능할 수 있지만, 단순 횡단 설문에서 변수 간 상관만으로 인과관계를 주장하기는 어렵습니다.

표준화 척도를 사용할 때

HCI에서는 System Usability Scale(SUS), UMUX-Lite, NASA-TLX, 신뢰·몰입·사회적 실재감 척도 등 기존 측정도구를 자주 활용합니다. 그러나 “유명한 척도”라는 이유만으로 현재 연구에 자동으로 적합한 것은 아닙니다.

확인할 사항:

  • 원래 어떤 구성개념과 맥락을 위해 개발되었는가?
  • 현재 대상 집단과 기술 맥락에도 문항이 자연스러운가?
  • 번역본의 출처와 번역 절차가 명확한가?
  • 문항 삭제·수정 후에도 기존 채점법을 그대로 써도 되는가?
  • 전체 점수와 하위차원을 어떻게 계산하는가?
  • 점수 해석에 필요한 신뢰도와 타당도 근거가 있는가?

예를 들어 SUS는 전반적인 인지된 사용성을 요약하는 도구로 유용하지만, 각 문항을 직관성·효율성·만족도의 독립적 하위척도처럼 임의로 해석해서는 안 됩니다.

로그와 행동 데이터: 실제 사용 흔적 읽기

로그 데이터는 다음과 같은 질문에 강합니다.

  • 어떤 기능을 실제로 사용했는가?
  • 어떤 경로에서 이탈했는가?
  • 오류 이후 어떻게 회복했는가?
  • 사용 패턴이 시간에 따라 어떻게 변하는가?

그러나 로그에 없는 것도 중요합니다.

  • 사용하지 않은 이유
  • 여러 사람이 하나의 계정을 공유했는지 여부
  • 백그라운드 실행과 실제 주의의 차이
  • 플랫폼 밖에서 일어난 행동
  • 로그 생성 규칙이 업데이트된 시점
  • 데이터에서 제외된 비사용자와 이탈자

기록된 행동은 현실 그 자체가 아니라, 시스템이 기록하도록 설계된 현실의 일부입니다.

인터뷰·관찰·사례연구

질적 접근은 다음과 같은 질문에 특히 유용합니다.

  • 사용자는 기술을 어떤 의미로 해석하는가?
  • 예상하지 못한 불편과 우회 행동은 무엇인가?
  • 개인·조직·문화적 맥락이 사용 경험을 어떻게 형성하는가?
  • 수치만으로 설명되지 않는 과정과 메커니즘은 무엇인가?

사례연구는 하나 또는 소수의 사례를 깊이 분석합니다. 통계적 일반화가 주목적이 아닐 수 있지만, 다음을 통해 이론적·분석적 일반화에 기여할 수 있습니다.

  • 사례 선정 논리
  • 다양한 자료원의 삼각검증
  • 시간적 과정과 맥락에 대한 상세한 기록
  • 대안적 설명과 부정적 사례의 검토

사례연구도 설문, 로그, 통계, 문서, 인터뷰를 함께 사용할 수 있습니다. “사례연구는 통계를 사용할 수 없다”는 뜻은 아닙니다.

혼합방법(Mixed Methods)

서로 다른 자료는 같은 현상을 다른 각도에서 보여줍니다.

  • 삼각검증(triangulation): 서로 다른 자료에서 같은 결론이 나타나는가?
  • 보완(complementarity): 로그가 보여준 행동을 인터뷰가 설명하는가?
  • 개발(development): 인터뷰 결과로 설문문항이나 실험 자극을 만드는가?
  • 확장(expansion): 실험의 단기효과와 현장 로그의 장기패턴을 함께 보는가?

예:

A/B 테스트에서 새 추천 인터페이스가 체류시간을 늘렸지만 만족도는 낮아졌다. 후속 인터뷰를 통해 사용자가 “흥미로워서 오래 본 것”이 아니라 “원하는 콘텐츠를 찾기 어려워 오래 머문 것”임을 확인할 수 있다.

표본과 일반화

표집(sampling)은 단순히 참여자를 많이 모으는 일이 아닙니다.

  • 목표 모집단: 누구에 대해 결론을 내리려는가?
  • 표집틀: 실제로 누구에게 모집 공고가 도달하는가?
  • 포함·제외 기준: 연구질문과 안전에 비추어 누가 참여할 수 있는가?
  • 자기선택: 참여 의사가 있는 사람은 그렇지 않은 사람과 어떻게 다른가?
  • 맥락의 범위: 특정 국가, 장치, 플랫폼, 과업에 한정되는가?

외적 타당도(external validity)는 무조건 높을수록 좋다는 단일 점수가 아닙니다. 어떤 대상과 맥락으로 일반화하려는지 명확히 하고, 표본과 연구환경이 그 목표에 얼마나 부합하는지 평가해야 합니다.

표본 수에 “무조건 30명”은 없다

“t-test는 30명이면 된다” 또는 “집단당 15명이면 된다”는 보편 규칙은 없습니다. 필요한 표본 수는 다음에 따라 달라집니다.

  • 검출하고 싶은 최소한의 의미 있는 효과
  • 결과변수의 변동성과 측정 신뢰도
  • 참여자 간 또는 참여자 내 설계
  • 조건 수와 상호작용의 수
  • 반복측정 횟수와 개인 내 상관
  • 원하는 검정력과 유의수준
  • 결측, 중도이탈, 제외 예상 비율
  • 사용할 모형의 복잡도

권장 접근:

  1. 이론·선행연구·실질적 의미를 바탕으로 최소 관심 효과를 정한다.
  2. 검정력 분석 또는 시뮬레이션으로 표본 수를 계획한다.
  3. 가정과 예상 이탈률을 기록한다.
  4. 파일럿 연구는 주로 절차, 이해도, 측정 변동성을 점검하는 데 활용한다.
Tip

소수 참여자의 사용성 테스트가 무가치한 것은 아닙니다. 다만 소규모 진단 연구와 모집단 효과를 정밀하게 추정하는 가설검증 연구는 목적과 주장 범위가 다릅니다.

측정(Measurement)이란?

HCI 연구에서는 신뢰, 몰입, 인지부하, 사용성처럼 직접 눈으로 볼 수 없는 개념을 자주 다룹니다.

측정은 관심 있는 속성이나 구성개념을 일정한 규칙에 따라 관찰하고, 값이나 범주로 표현하는 과정입니다.

예:

  • 과업 효율성 → 완료시간, 클릭 수, 오류 수
  • 인지된 사용성 → 검증된 설문 척도의 총점
  • 신뢰 → 자기보고 신뢰 점수 + AI 권고 수용 행동
  • 주의 배분 → 시선 고정시간과 위치
  • 지속 사용 → 일정 기간의 재방문 로그

중요한 점은 측정값이 구성개념 자체가 아니라는 것입니다.

완료시간이 짧다고 반드시 경험이 좋았던 것은 아니며, 신뢰 점수가 높다고 반드시 AI의 권고를 실제로 따르는 것도 아닙니다.

Construct → Operationalization → Measure → Variable

flowchart TB
    A["Theoretical Construct<br>신뢰"]
    B["Operational Definition<br>과업 후 인지된 신뢰"]
    C["Measure / Instrument<br>1-7점 다문항 척도"]
    D["Observed Variables<br>trust_1 ... trust_5"]
    E["Scored Variable<br>mean_trust"]

    A --> B --> C --> D --> E

  • 이론적 구성개념(theoretical construct): 연구하고 싶은 추상적 개념
  • 조작화·조작적 정의(operationalization): 그 개념을 현재 연구에서 어떻게 관찰할지 정하는 논리와 과정
  • 측정도구(measure/instrument): 실제 관찰에 사용하는 문항, 과업, 센서, 기록 규칙
  • 변수(variable): 측정 결과 데이터셋에 저장된 값

같은 구성개념도 연구 목적과 맥락에 따라 다르게 조작화할 수 있습니다. 따라서 조작화의 선택에는 항상 이론적 근거와 한계가 따릅니다.

하나의 구성개념, 여러 측정

구성개념 자기보고 측정 행동·수행 측정 주의할 점
사용성 SUS 등 인지된 사용성 척도 성공률, 시간, 오류 인지된 사용성과 수행은 동일하지 않음
신뢰 신뢰 척도 권고 수용, 재확인, override 순응(compliance)이 곧 적절한 신뢰는 아님
몰입·실재감 몰입·presence 척도 탐색, 움직임, 중단 행동 단일 생리지표로 직접 추론하기 어려움
인지부하 NASA-TLX 등 이중과업 성과, 반응시간 과업 난이도와 능력 차이의 영향 고려
참여(engagement) 흥미·관여 자기보고 체류, 재방문, 상호작용 긴 체류가 긍정 경험을 의미하지 않을 수 있음

여러 측정을 결합하면 구성개념을 더 입체적으로 이해할 수 있지만, 서로 다른 지표가 반드시 같은 결과를 보여야 하는 것은 아닙니다.

분석단위(Unit of Analysis)

연구설계에서 자주 놓치는 질문은 “한 행이 무엇을 의미하는가?”입니다.

  • 참여자 1명
  • 참여자 × 조건
  • 참여자 × 과업
  • 참여자 × 시행(trial)
  • 세션
  • 게시물 또는 댓글
  • 팀 또는 조직

예를 들어 40명이 각자 20회의 과업을 수행하면 관측값은 800개이지만, 독립적인 참여자가 800명인 것은 아닙니다. 같은 사람에게서 나온 반복 관측은 서로 연관되어 있습니다.

이 선택은 다음을 결정합니다.

  • 데이터의 행 구조
  • 표본 수를 어떻게 해석할지
  • 어떤 통계모형을 사용할지
  • 독립성 가정이 성립하는지

측정 수준(Scales of Measurement)

측정 수준은 값 사이에 어떤 관계와 연산이 의미 있는지를 설명합니다.

수준 값이 표현하는 것 HCI 예시 의미 있는 비교
명목(nominal) 이름·범주 OS, 조건, 장치 유형 같음/다름, 빈도·비율
순서(ordinal) 순위·정렬 단일 동의 문항, 선호 순위 크고 작음, 중앙값·순위
간격(interval) 동일한 간격, 자연적 0 없음 섭씨온도, 일부 표준화 점수 차이, 평균·표준편차
비율(ratio) 동일한 간격과 의미 있는 0 반응시간, 오류 수, 거리 차이와 비율
Note

측정 수준은 분석 선택에 중요한 정보를 주지만, 분석법을 혼자 결정하지는 않습니다. 연구설계, 분포, 표본 크기, 반복측정 구조, 모형 가정을 함께 고려해야 합니다.

명목척도(Nominal Scale)

명목변수는 범주 사이에 자연스러운 순서가 없습니다.

예:

  • 실험 조건: 텍스트 설명 / 시각 설명 / 설명 없음
  • 장치: 데스크톱 / 태블릿 / 스마트폰
  • 입력 방식: 터치 / 음성 / 시선
  • 운영체제: Windows / macOS / Linux

범주를 1, 2, 3으로 저장하더라도 숫자는 코드일 뿐입니다.

  • 평균 장치 유형 = 1.8 → 해석 불가능
  • 스마트폰(3)이 태블릿(2)보다 “더 크다” → 해석 불가능

명목변수에서는 빈도, 비율, 최빈값, 교차표, 범주 간 차이가 주요 관심이 됩니다.

순서척도(Ordinal Scale)

순서변수는 범주를 의미 있게 정렬할 수 있지만, 인접 범주 사이의 간격이 같다고 보장할 수 없습니다.

예:

  • 과업 난이도: 매우 쉬움 < 쉬움 < 보통 < 어려움 < 매우 어려움
  • 선호 순위: 1위, 2위, 3위
  • 문제 심각도: 경미, 보통, 심각
  • 단일 Likert-type 동의 문항

1위와 2위의 차이가 2위와 3위의 차이와 같다고 말할 수는 없습니다.

응답 선택지는 논리적 순서로 제시해야 하며, 방향을 일관되게 유지해야 합니다.

매우 반대 → 반대 → 보통 → 동의 → 매우 동의

간격척도와 비율척도

간격척도(Interval Scale)

  • 값 사이의 차이가 동일한 의미를 가집니다.
  • 자연적이고 절대적인 0이 없습니다.
  • 대표 예: 섭씨온도
  • 20°C와 10°C의 차이는 10도이지만, 20°C가 10°C보다 “두 배 뜨겁다”고 말할 수는 없습니다.

비율척도(Ratio Scale)

  • 동일한 간격과 의미 있는 0을 가집니다.
  • 차이뿐 아니라 비율도 해석할 수 있습니다.
  • HCI 예: 반응시간, 과업 완료시간, 오류 수, 클릭 수, 이동 거리
  • 4초는 2초보다 두 배 긴 시간입니다.

단, 오류 수가 0이라는 사실은 “오류가 관찰되지 않았다”는 뜻이지, 사용성 문제가 전혀 없다는 뜻은 아닙니다.

측정 수준과 연속·이산은 다른 차원

연속형(continuous)과 이산형(discrete)은 값 사이에 이론적으로 중간값이 가능한지를 묻습니다.

변수 측정 수준 연속/이산
장치 유형 명목 이산
선호 순위 순서 이산
반응시간 비율 연속
오류 수 비율 이산
섭씨온도 간격 연속
1–7점 단일 동의 문항 순서 이산

측정 장비가 반응시간을 0.01초 단위로 저장한다고 해도, 반응시간 자체는 이론적으로 연속적인 양입니다. 반대로 오류 수는 2.4개처럼 관찰할 수 없으므로 이산적입니다.

숫자로 저장되었다고 수치형 개념은 아니다

condition <- c(1, 2, 1, 3)
# 1 = control, 2 = text explanation, 3 = visual explanation

이 변수는 숫자로 저장되어 있지만 명목변수입니다.

반대로 다음 변수는 문자로 읽혀도 순서정보를 가질 수 있습니다.

difficulty <- c("easy", "hard", "medium")

분석 전에 데이터 저장형(type)과 측정의 의미(level)를 구분해야 합니다.

  • R의 numeric, character, factor는 저장·처리 방식
  • 명목, 순서, 간격, 비율은 값의 해석과 측정 수준

Likert 문항과 Likert 척도

두 용어를 구분해 사용하는 것이 좋습니다.

  • Likert-type item: 하나의 동의 문항
    • 예: “이 AI의 권고를 신뢰한다.” 1 = 전혀 동의하지 않음, 7 = 매우 동의함
    • 원칙적으로 순서형
  • Likert scale: 같은 구성개념을 측정하는 여러 문항을 합산하거나 평균한 척도
    • 예: 신뢰 문항 5개의 평균
    • 문항들이 실제로 같은 구성개념을 측정하는지 확인해야 함

단일 문항의 1과 2 사이 간격이 5와 6 사이 간격과 동일하다고 직접 관찰할 수는 없습니다.

Likert 자료를 어떻게 분석할까?

실무에서는 다문항 척도의 합계나 평균을 연속형에 가깝게 분석하는 경우가 많습니다. 그러나 “무조건 가능” 또는 “무조건 불가능”으로 단순화할 필요는 없습니다.

연속형에 가까운 분석을 고려할 조건:

  • 동일한 구성개념을 측정하는 여러 문항으로 구성
  • 충분한 응답범주와 적절한 점수분포
  • 척도 구조와 신뢰도에 대한 근거
  • 사용한 모형이 어느 정도의 비정규성에 견고함

더 신중해야 하는 경우:

  • 단일 문항
  • 응답범주가 매우 적음
  • 극심한 천장·바닥 효과나 치우침
  • 표본이 작음
  • 범주 사이 차이가 특히 해석의 핵심임

이 경우 순서형 모형, 비모수적 요약, 강건성 분석을 고려할 수 있습니다. 논문에서는 관행을 반복하기보다 왜 그 분석이 연구질문과 자료에 적절한지 설명하는 것이 중요합니다.

신뢰도와 타당도

신뢰도(Reliability)

측정이 반복되거나 여러 문항·평가자에게 적용될 때 얼마나 일관되고 정밀한가에 관한 문제입니다.

타당도(Validity)

측정점수의 해석과 사용이 의도한 구성개념과 목적에 대해 얼마나 충분한 근거를 갖는가에 관한 문제입니다.

신뢰도 높음 신뢰도 낮음
타당도 높음 바람직한 측정 안정적으로 측정되지 않아 해석 제한
타당도 낮음 일관되게 잘못된 것을 측정할 수 있음 측정으로서 매우 취약

신뢰도는 타당도를 보장하지 않지만, 지나치게 낮은 신뢰도는 타당한 해석을 어렵게 합니다.

또한 “척도 자체가 항상 타당하다”기보다, 특정 대상·언어·기술·목적에서 그 점수를 어떻게 해석하는지가 타당한가를 평가합니다.

신뢰도의 여러 형태

  • 검사–재검사 신뢰도(test–retest): 시간이 달라도 안정적인 특성의 점수가 일관되는가?
  • 평가자 간 신뢰도(inter-rater): 여러 평가자가 같은 행동이나 자료를 유사하게 코딩하는가?
  • 동형검사 신뢰도(parallel/alternate forms): 동등한 형태의 측정도구가 유사한 결과를 내는가?
  • 내적 일관성(internal consistency): 같은 구성개념을 측정하려는 문항들이 서로 일관되는가?

측정과 자료 유형에 따라 alpha, omega, ICC, kappa 등 적절한 지표가 달라집니다.

Warning

Cronbach’s alpha가 높다는 사실만으로 척도가 단일차원이며 타당하다고 결론 내릴 수 없습니다. 문항 수가 많으면 alpha가 높아질 수 있고, 서로 다른 하위개념이 섞여 있어도 높게 나타날 수 있습니다.

타당도의 근거

측정도구를 평가할 때 여러 형태의 근거를 함께 봅니다.

  • 내용 근거(content evidence): 문항이 구성개념의 중요한 영역을 충분히 포함하는가?
  • 응답과정(response process): 참여자가 문항을 연구자가 의도한 방식으로 이해하고 응답하는가?
  • 내적 구조(internal structure): 문항 간 관계와 요인구조가 이론과 일치하는가?
  • 수렴·판별 근거(convergent/discriminant): 관련 개념과는 연관되고 구별되는 개념과는 구분되는가?
  • 준거 관련 근거(criterion-related): 관련 행동이나 외부 준거를 설명·예측하는가?
  • 집단·맥락 간 동등성: 다른 집단이나 언어에서도 같은 의미로 작동하는가?

겉보기에 그럴듯한 안면타당도(face validity)는 출발점일 수 있지만 충분한 근거는 아닙니다.

측정 품질 체크리스트

  • 구성개념을 한 문장으로 정의했는가?
  • 기존 척도를 썼다면 원문과 개발 목적을 확인했는가?
  • 번역·역번역 또는 인지면접 절차가 필요한가?
  • 자기보고 외에 행동 또는 수행 지표를 보완할 수 있는가?
  • 측정 시점이 원인과 결과의 시간순서를 반영하는가?
  • 문항 순서, 역문항, 응답범주가 혼동을 만들지 않는가?
  • 점수 산출 규칙과 결측 처리 규칙이 사전에 정해졌는가?
  • 동일한 척도가 비교하려는 집단에서 같은 의미를 갖는가?
  • 측정오차가 예상 효과를 약화하거나 왜곡할 가능성은 없는가?

변수의 역할: IV/DV와 Predictor/Outcome

연구 맥락에 따라 변수 이름을 구분해 사용하는 것이 정확합니다.

역할 실험에서 자주 쓰는 용어 관찰·예측 연구에서 자주 쓰는 용어
설명하거나 비교하는 변수 독립변수(IV), factor, treatment 예측변수(predictor), 노출(exposure)
설명되는 결과 종속변수(DV) 결과변수(outcome), response
함께 고려하는 변수 공변량(covariate), 통제변수 공변량, 통제변수
  • 독립변수라는 이름이 “현실의 모든 것과 독립적”이라는 뜻은 아닙니다.
  • 실험에서는 연구자가 조작한 조건을 IV라고 부르기 쉽습니다.
  • 관찰자료에서는 성별, 사용시간, 자기선택 조건 등을 무조건 IV라고 부르기보다 predictor 또는 exposure라고 부르는 편이 정확할 수 있습니다.
  • 교란변수(confounder)는 노출/조건과 결과 모두에 관련되어 관찰된 관계에 대안적 설명을 만드는 변수입니다.

실험의 인과 논리

인과효과를 알고 싶다면 이상적으로 같은 사람이 같은 시점에 두 조건을 모두 경험했을 때의 결과를 비교하고 싶습니다.

  • AI 설명을 받은 상태의 결과
  • 같은 사람이 같은 순간 설명을 받지 않은 상태의 결과

그러나 두 상태를 동시에 관찰할 수는 없습니다. 이를 근본적 인과추론 문제라고 생각할 수 있습니다.

무작위 할당은 여러 참여자를 조건에 배정하여, 조건 외의 특성이 집단 사이에 평균적으로 균형을 이루도록 기대하게 만듭니다. 그 결과 관찰된 평균 차이를 처치 효과로 해석할 근거가 강화됩니다.

무작위화가 모든 문제를 없애는 것은 아닙니다.

  • 작은 표본에서는 우연한 불균형이 남을 수 있음
  • 조작이 제대로 전달되지 않을 수 있음
  • 중도이탈과 비순응이 조건별로 다를 수 있음
  • 측정과 분석이 부정확할 수 있음

무작위 할당과 무작위 표집은 다르다

개념 목적 주로 강화하는 타당도
무작위 할당(random assignment) 참여자를 실험 조건에 우연히 배정 집단 비교의 내적 타당도, 인과추론
무작위 표집(random sampling) 모집단에서 참여자를 우연히 선택 모집단 일반화, 외적 타당도

대학생 편의표본을 두 조건에 무작위 할당한 연구는 조건 간 인과비교에는 강할 수 있지만, 모든 연령과 문화에 자동으로 일반화되지는 않습니다.

반대로 대표성 높은 설문표본에서 두 변수의 상관을 관찰했다고 해도, 무작위 할당이 없다면 인과효과를 바로 주장할 수 없습니다.

참여자 간 설계(Between-Subjects Design)

각 참여자는 하나의 조건만 경험합니다.

예: 120명을 세 집단에 무작위 할당

  • 설명 없음
  • 텍스트 설명
  • 시각 설명

장점

  • 순서효과와 학습효과가 적음
  • 서로 다른 자극의 목적을 눈치챌 가능성이 낮음
  • 장기적이거나 되돌릴 수 없는 처치에 적합

한계

  • 개인차가 오차에 포함됨
  • 같은 검정력을 위해 더 많은 참여자가 필요할 수 있음
  • 조건 간 우연한 불균형을 점검해야 함

참여자 내 설계(Within-Subjects Design)

각 참여자가 여러 조건을 경험합니다.

예: 같은 참여자가 텍스트 설명과 시각 설명을 각각 사용

장점

  • 참여자가 자신의 통제 역할을 하므로 개인차를 줄일 수 있음
  • 같은 참여자 수에서 비교의 정밀도가 높아질 수 있음
  • 개인 수준의 변화와 선호를 볼 수 있음

한계

  • 학습, 피로, 적응, 이월효과(carryover)
  • 연구 목적과 조건 차이를 쉽게 눈치챌 수 있음
  • 반복 측정 간 의존성을 분석에 반영해야 함

설계 선택은 “어느 것이 더 좋다”가 아니라 과업, 처치의 지속성, 예상 효과, 현실적 제약에 따라 달라집니다.

순서효과와 Counterbalancing

참여자 내 설계에서 모든 참여자가 A 다음 B를 경험하면, 조건 차이와 순서 차이를 구분하기 어렵습니다.

  • 절반: A → B
  • 절반: B → A

이를 counterbalancing의 가장 단순한 형태라고 합니다.

조건이 많으면 완전 counterbalancing, Latin square, 무작위 순서 등을 고려할 수 있습니다. 또한 다음을 설계해야 합니다.

  • 조건 사이 휴식 또는 washout
  • 연습 trial과 본 trial의 구분
  • 과업 난이도의 균형
  • 동일 자극 반복으로 인한 기억효과
  • 순서와 조건의 상호작용 가능성

요인설계(Factorial Design)와 상호작용

모바일 UI 연구에서 두 요인을 동시에 조작한다고 해봅시다.

  • 버튼 크기: 작음 vs 큼
  • 색상 대비: 낮음 vs 높음

이는 2 × 2 요인설계로 네 조건을 만듭니다.

낮은 대비 높은 대비
작은 버튼 조건 1 조건 2
큰 버튼 조건 3 조건 4

확인할 수 있는 효과:

  • 버튼 크기의 주효과(main effect)
  • 색상 대비의 주효과
  • 버튼 크기의 효과가 대비 수준에 따라 달라지는 상호작용(interaction)

예를 들어 큰 버튼의 이점이 낮은 대비에서만 크게 나타난다면 상호작용이 존재할 수 있습니다.

실험설계에서 자주 생기는 위협

위협 예시 대응 아이디어
교란(confounding) 설명 형식과 함께 정보량도 달라짐 한 번에 목표 요인만 체계적으로 조작
선택편향 고급 기능 사용자가 스스로 새 UI를 선택 무작위 할당 또는 설계·모형으로 조정
순서·학습효과 두 번째 조건에서 과업에 익숙해짐 counterbalancing, 연습과업
요구특성 참여자가 연구가 원하는 답을 추측 중립적 안내, 가능한 눈가림, 사후 질문
측정 반응성 설문을 반복하며 태도가 변함 측정 횟수와 시점 최소화·정당화
중도이탈 어려운 조건에서 더 많이 이탈 조건별 이탈 보고, 원인 점검
계측 변화 로그 수집 코드가 중간에 업데이트 버전 기록, 데이터 품질 검사
다중분석 많은 결과 중 유의한 것만 선택 주요 결과 사전 지정, 전체 분석 투명하게 보고

비실험 연구(Non-Experimental Research)

비실험 연구에서는 연구자가 핵심 노출이나 조건을 무작위로 배정하지 않습니다.

대표적 형태:

  • 횡단연구: 한 시점에서 변수 간 관계 조사
  • 종단·패널연구: 같은 대상을 여러 시점에 추적
  • 관찰 로그 연구: 자연스럽게 발생한 행동 기록 분석
  • 코호트 연구: 특정 특성을 가진 집단을 시간에 따라 비교
  • 질적 현장연구: 맥락 속 경험과 과정을 관찰·해석

비실험 연구는 현실적이고 윤리적으로 중요한 질문을 다룰 수 있지만, 다음을 조심해야 합니다.

  • 교란과 자기선택
  • 원인과 결과의 시간순서
  • 역인과성
  • 측정되지 않은 변수
  • 플랫폼·표본 선택편향

“통제변수를 회귀식에 넣었다”는 사실만으로 모든 교란이 제거되는 것은 아닙니다.

준실험(Quasi-Experimental Design)

준실험은 단순히 “실험처럼 보이지만 IV를 통제하지 않은 연구”가 아닙니다. 무작위 할당은 없지만, 정책·시점·기준점·외생적 변화가 만든 비교 구조를 활용해 인과효과에 접근하는 설계입니다.

예:

  • 중단 시계열(interrupted time series): 추천 알고리즘 변경 전후의 장기 추세 비교
  • 차이의 차이(difference-in-differences): 변경 대상 플랫폼과 비교 플랫폼의 전후 변화 비교
  • 회귀불연속(regression discontinuity): 점수 기준선을 중심으로 기능 제공 여부가 달라진 경우
  • 자연실험: 연구자가 만들지 않은 외부 사건이 노출을 사실상 나눈 경우

각 설계는 평행추세, 기준점 조작 불가, 다른 동시 사건의 부재 등 고유한 가정을 요구합니다. 따라서 단순한 사전–사후 평균 차이보다 훨씬 정교한 설계 논리가 필요합니다.

윤리적인 HCI 연구설계

HCI 데이터는 사람의 행동, 관계, 위치, 감정, 생체신호를 포함할 수 있으므로 설계 단계부터 윤리를 고려해야 합니다.

  • 충분한 설명과 자발적 동의
  • 최소위험 원칙과 취약한 참여자 보호
  • 필요한 정보만 수집하는 데이터 최소화
  • 개인정보와 식별 가능 로그의 분리·보호
  • 기만이 필요한 경우 정당성, 최소화, 사후설명
  • 철회와 데이터 삭제 가능성의 명확한 안내
  • 플랫폼 이용약관과 제3자 데이터 권리 확인
  • 보관기간, 접근권한, 공유 범위 결정
  • 생성형 AI 서비스에 민감한 연구자료를 무단 업로드하지 않기
Warning

온라인에서 접근할 수 있거나 공개된 데이터라고 해서 연구윤리상 자유롭게 수집·분석·공개할 수 있다는 뜻은 아닙니다.

연구설계는 데이터 구조가 된다

연구를 데이터셋으로 옮길 때 기본 원칙은 다음과 같습니다.

  • 행(row): 한 관측단위
  • 열(column): 한 변수
  • 셀(cell): 한 관측값

예: 참여자마다 두 조건에서 세 과업을 수행했다면, 한 행을 참여자 × 조건 × 과업으로 두는 long format이 자연스럽습니다.

participant_id condition task_id trial_order time_sec errors trust
P01 text T01 1 42.1 1 5.8
P01 visual T01 2 35.4 0 6.2
P02 visual T01 1 51.0 2 4.6

이 구조에서는 같은 참여자의 행이 여러 개이므로, 분석에서도 반복측정 구조를 반영해야 합니다. task_id는 과업의 이름표이고, trial_order는 제시 순서를 나타냅니다.

데이터 수집 전에 Codebook 만들기

variable 역할 측정·코딩 유형 허용값·단위
participant_id 식별키 익명 연구 ID nominal P001, P002, …
condition 실험요인 설명 형식 nominal control, text, visual
task_id 반복단위 과업 식별자 nominal T01, T02, …
trial_order 순서 참여자별 제시 순서 ordinal, discrete 1–6
time_sec 결과 시작–완료 시간 ratio, continuous seconds
errors 결과 사전 정의 오류 수 ratio, discrete 0 이상의 정수
trust_1–trust_5 측정문항 1–7점 동의 ordinal 1–7
mean_trust 척도점수 유효 문항 평균 합성점수(연속형 근사) 1–7

Codebook에는 다음도 기록합니다.

  • 결측값 표기와 발생 이유
  • 역코딩 문항
  • 제외 기준
  • 단위와 시간대
  • 로그 버전과 생성 규칙
  • 파생변수 계산식

R에서 연구설계 표현하기

library(tidyverse)

study <- tribble(
  ~participant_id, ~condition, ~task_id, ~trial_order, ~time_sec, ~errors, ~trust,
  "P01",           "text",     "T01",            1,       42.1,       1,     5.8,
  "P01",           "visual",   "T01",            2,       35.4,       0,     6.2,
  "P02",           "visual",   "T01",            1,       51.0,       2,     4.6,
  "P02",           "text",     "T01",            2,       55.3,       2,     4.2
)

glimpse(study)

study |>
  group_by(condition) |>
  summarise(
    n_rows = n(),
    mean_time = mean(time_sec),
    mean_trust = mean(trust)
  )

코드를 실행하기 전에 먼저 설명해 봅시다.

  • 한 행의 관측단위는 무엇인가?
  • n_rows는 독립적인 참여자 수와 같은가?
  • condition은 문자로 저장되었지만 어떤 측정 수준인가?
  • 단순 조건별 평균이 반복측정 구조를 충분히 반영하는가?

조별 활동: 세 가지 HCI 사례

사례 A: VR

그래픽 품질(고해상도 vs 저해상도)이 사용자의 몰입과 멀미에 어떤 영향을 주는가?

사례 B: 모바일 UI

버튼 크기(작음 vs 큼)와 색상 대비(낮음 vs 높음)가 과업시간과 오류율에 어떤 영향을 주는가?

사례 C: 음성 인터페이스

음성 인식 정확도(높음 vs 낮음)와 응답 지연(짧은 지연 vs 긴 지연)이 만족도와 재시도 행동에 어떤 영향을 주는가?

각 조는 한 사례를 선택합니다.

조별 활동: Design Canvas

선택한 사례를 다음 항목으로 설계하세요.

  1. 연구질문은 기술·연관·인과·해석 중 무엇인가?
  2. 목표 모집단과 사용 맥락은 무엇인가?
  3. 분석단위는 참여자, 과업, trial 중 무엇인가?
  4. 조작할 요인과 각 수준은 무엇인가?
  5. 결과변수는 무엇이며 어떻게 측정할 것인가?
  6. 참여자 간 또는 참여자 내 설계 중 무엇을 선택할 것인가?
  7. 무작위 할당 또는 순서 균형화(counterbalancing)은 어떻게 할 것인가?
  8. 예상되는 교란, 학습, 피로, 요구특성은 무엇인가?
  9. 표본 수는 어떤 근거로 계획할 것인가?
  10. 데이터셋의 한 행과 주요 열은 무엇인가?
  11. 이 설계로 가능한 결론과 불가능한 결론은 무엇인가?

공유 형식

“우리 연구는 [대상]이 [맥락]에서 [조건 A와 B]를 경험할 때 [결과]가 얼마나 달라지는지 추정한다. 이를 위해 [설계]를 사용하고, [측정]으로 결과를 관찰한다.”

개인 활동: 내가 자주 쓰는 서비스

자주 쓰는 앱·AI·디지털 서비스를 하나 선택하고 다음을 작성합니다.

  • 관찰한 문제 또는 궁금한 현상
  • 연구질문
  • 대상과 맥락
  • 예측변수 또는 조작할 조건
  • 결과변수
  • 조작화와 측정도구
  • 설계 유형
  • 주요 교란 또는 위협
  • 예상 데이터 구조

예시

  • 서비스: 인스타그램
  • 질문: 피드 정렬 방식이 콘텐츠 탐색 경험에 미치는 영향은 무엇인가?
  • 조건: 시간순 vs 추천순
  • 결과: 원하는 게시물 발견시간, 스크롤 수, 만족도
  • 설계: 참여자 내 설계 + 순서 균형화(counterbalancing)
  • 주의: 기존 사용 습관, 팔로우 구성, 콘텐츠 난이도를 통제하거나 균형화

핵심 정리

  1. 연구질문이 방법보다 먼저입니다.
  2. 연구설계, 자료수집 방법, 데이터 규모는 서로 다른 차원입니다.
  3. 측정값은 구성개념 그 자체가 아니라 하나의 조작화 결과입니다.
  4. 측정 수준과 연속·이산 여부를 구분해야 합니다.
  5. 신뢰도는 일관성, 타당도는 점수 해석과 사용의 근거에 관한 문제입니다.
  6. 인과추론은 IV/DV라는 이름이 아니라 비교 구조, 무작위화, 교란 통제에서 나옵니다.
  7. 참여자 내·간 설계, 순서효과, 반복측정 구조를 데이터와 분석에 반영해야 합니다.
  8. 큰 데이터도 잘못된 측정과 설계를 보상하지 못합니다.
  9. 좋은 연구설계는 마지막에 깔끔한 데이터 구조와 정직한 주장 범위로 나타납니다.

다음 주 전까지

  • 오늘 만든 Design Canvas를 한 페이지로 정리합니다.
  • 각 변수에 대해 구성개념, 조작화, 측정 수준, 분석단위를 기록합니다.
  • 데이터셋의 예상 열 이름을 codebook 형태로 작성합니다.
  • “내 설계로 가능한 주장”과 “불가능한 주장”을 각각 한 문장으로 씁니다.
Tip

다음 주부터 코드를 배울 때도 항상 먼저 질문합니다. 이 행은 무엇이고, 이 열은 무엇을 측정하며, 이 숫자로 어떤 주장을 하려는가?

–>