Ⅰ. 서 론
의료 교육 분야에서 인공지능(AI)의 도입은 기존 교육 방식을 보완하고 학습 효과를 극대화하는 데 중요한 역할을 할 수 있다. 의료 교육에서 인공지능은 학습자의 수준과 필요에 맞춘 개인 맞춤형 교육을 제공하고, 데이터 기반 의사 결정을 지원함으로써 보다 체계적이고 효과적인 학습 환경을 조성한다1. 특히, 인공지능은 지능형 튜터링 시스템, 맞춤형 학습 플랫폼, 인공지능 기반 평가 시스템, 챗봇을 활용한 임상 교육, 수술 시뮬레이션, 해부학 교육 강화 등 다양한 방식으로 의료 교육에 적용될 수 있다2. 이를 통해 학습자들은 이론적 지식뿐만 아니라 실제 임상 상황에서 요구되는 실질적인 문제 해결 능력을 효과적으로 함양할 수 있다. 이러한 인공지능 기술의 활용은 의료 교육의 질을 향상시키는 동시에, 기존 교육 방식이 지닌 한계를 보완하는 중요한 도구로 자리 잡을 것으로 기대된다.
의학 교육의 목표는 단순한 의학 지식의 습득뿐만 아니라 기본적이고 중요한 술기, 임상 수행능력 및 태도 등을 갖추는 것에 있다3,4. 또한, 한의학 교육에서 한의사 역량에 대한 예비 한의사의 요구도를 조사한 결과, 우선적으로 고려해야하는 역량에 한의사와 환자 간 의사소통, 병력 청취 및 신체 검사, 전문지식 및 임상술기가 포함되었다5. 한의과대학과 학생들 모두 임상 실습 교육의 중요성을 인식하고 있다. 현재 한의과대학에서는 이론강의, 실습교육, 시뮬레이션 교육 등의 방법을 통해 임상실습교육을 진행하고 있지만, 환자와의 접근 기회가 제한적이며 진료를 연습하고 체화할 기회가 부족하다. 따라서 임상실습교육의 질을 높이고 학생들의 진료 역량을 평가하기 위해 다양한 Clinical Performance Examination(CPX) 및 Objective Structured Clinical Examination(OSCE) 문항과 모형을 개발하고, 교육 방법을 개선하는 등 CPX와 OSCE를 중심으로 한 교육과 연구의 지속적인 발전이 요구되고 있다6. 이러한 맥락에서 제안된 동료 역할극(peer role-play)은 한의대 학생들의 진료 및 의사소통 역량을 향상시키는 효과적인 교육 방법으로, 학생들이 환자와의 대화를 연습하고 임상적 상황에서의 대응 능력을 기르며, 자기주도적 학습과 직업 정체성 형성에도 긍정적인 영향을 미칠 수 있다7. 그러나 참여 학생들 간의 역할 경험의 균형과 교수자의 준비 과정에 대한 고려가 필요한 점이 있을 수 있다.
최근 한의학 교육에서는 인공지능 기술을 활용한 교육 방법들이 제시되고 있으며, 이를 통해 교육의 효율성과 질을 향상시키려는 다양한 연구들이 논의되고 있다. 개인 맞춤형 학습 계획 및 학습 자료 생성, 지식 통합과 커리큘럼 개발, 학생 평가 자동화, 가상 환자 시뮬레이션 등 거대언어모델이 한의학 교육에 활용될 수 있는 다양한 방식이 제시되었으며, 실제 교육 현장에서의 적용을 위해 활발한 탐구가 필요하다고 고찰되었다8. 현재, 한의학 교육 분야에서는 인공지능 기반 챗봇을 도입하려는 연구 또한 이루어지고 있다. 임상실습을 위한 인공지능 기반 환자 챗봇을 개발하고 전문가 검토를 통해 챗봇의 사용성과 교육적 효과성을 평가한 연구가 보고되었으며9, 생성형 인공지능 챗봇을 개발하여 학습자들이 우울장애 환자와의 모의 진료 후 자살 위험 평가를 실시하고 학습자의 경험과 태도를 분석한 연구도 제시되었다10. 또한, 거대언어모델을 활용하여 변증 교육 도구로서 심비양허형 모의환자를 개발하고 향후 적용 가능성을 제시한 연구가 보고된 바 있다11.
그러나 기존 연구에서는 가상 환자 챗봇 개발 이후, 학습자를 대상으로 챗봇의 사용성, 교육적 효과성 및 적용 가능성을 직접적으로 검증하지 않았다는 한계가 있다9,11. 아울러, 이미지 및 음성과 같은 시청각자료를 활용한 임상자료가 제공되지 않아 학습자의 임상적 사고를 충분히 함양하는데 제한이 있었다10,11. 따라서 증상을 바탕으로 질환과 한방변증을 진단할 수 있는 가상환자 챗봇의 개발뿐만 아니라, 실제 학습자에게 적용하여 그 효과를 검증하는 과정이 필요하다. 또한, 학습자가 가상 환자의 증상을 보다 직관적으로 이해하고, 실제 임상 환경과 유사한 학습 경험을 제공하기 위해서는 시청각 자료(이미지 및 음성)를 포함한 다감각적 정보 제공이 필요하다.
이에 본 연구에서는 선행 연구의 한계를 보완하여 인공지능 기반 가상환자 챗봇을 개발하고 실제 학습자에게 적용하고자 하였다. 병력 청취, 망문문절, 이학적･신경학적 검진 결과 등 모의진료에 필요한 다양한 자료를 학습자에게 보다 현실감 있게 제공하는 가상 환자 챗봇을 개발하였다. 학습자는 챗봇과의 대화를 통해 가장 적절한 통합의학적 변병과 변증을 도출할 수 있으며, 진단명을 입력하면 챗봇이 정답 여부를 평가하고 피드백을 제공하여 학습의 흥미와 효과를 높이도록 구성되었다. 또한, 이를 통해 개발한 가상환자 챗봇을 학습자에게 제공하고, 진단학 학습 동기와 챗봇의 사용성에 대한 학습자의 정량적 및 정성적 의견을 수집하였다. 본 연구의 결과를 통해 향후 챗봇을 활용한 내과학 분야의 CPX 실습 교육 개선을 위한 기초자료를 제시하고자 한다.
Ⅱ. 방 법
1. 연구설계
본 연구는 상복통 증상을 호소하는 가상환자 CPX 시나리오를 기반으로 수업에서 활용 가능한 가상환자 챗봇을 개발하였다. 해당 시나리오는 이전 CPX 역할극 수업에서 개발된 것을 활용하였다. 또한, 해당 챗봇을 실제 수업에 활용한 후, 수집된 자료를 정성적･정량적으로 분석하여 수업 및 연구의 개선점을 도출하고 활용도를 높이고자 하였다.
2. 연구절차
교수설계 모델인 ADDIE 모형(Seels & Richey, 1994)에 따라 분석, 설계, 개발, 실행, 평가의 5단계로 진행되었다. 가상환자 챗봇은 2024년 7월 9일부터 11월 6일까지 개발되었으며, 이후 2024년 11월 7일부터 12월 10일까지 실제 수업에 적용하여 활용하였다.
1) 분석(Analysis): 요구 분석, 학습자 분석, 환경 분석, 과제 분석
분석단계에서는 요구 분석, 학습자 분석, 학습 환경 분석, 과제 분석을 통해 가상환자 챗봇의 개발 방향을 구체화하였다. 요구 분석에서는 교수자의 요구사항을 반영하여, 학생들이 가상환자를 대상으로 병력 청취, 진단명 도출, 검사 해석 능력을 함양할 수 있도록 인공지능 기반 챗봇을 개발하는 것을 목표로 설정하였다. 기존의 교육 방식에서 실습 기회의 제한을 해소하고, 다양한 임상 상황을 경험할 수 있는 학습 환경을 조성하는 데 중점을 두었다. 학습자 분석을 실시한 결과, 한의과대학 학생들은 진단학에 대한 기초지식은 충분히 보유하고 있으나, 실제 임상 경험과 환자와의 의사소통 능력이 부족한 것으로 나타났다. 이에 따라, 반복적인 학습을 통해 임상적 사고력을 강화할 필요성이 확인되었으며, 가상 환경에서의 챗봇이 이를 보완할 수 있는 효과적인 교육 도구가 될 것으로 판단되었다. 학습 환경 분석에서는 챗봇이 적용될 실습 환경과 기술적 요건을 검토하였다. 실습은 교내 실습실에서 진행되며, 학생들이 PC와 태블릿을 활용해 챗봇과 원활하게 상호작용할 수 있는 환경이 필요하다는 점이 확인되었다. 마지막으로, 과제 분석을 통해 학습자의 종합적 진단 추론 능력을 향상시키기 위한 학습 내용을 체계화하였다. 증상의 원인을 보다 정교하게 감별할 수 있도록 문진, 검사, 감별진단 과정을 세분화하는 것이 필요하며, 이를 통해 학습자가 단계적으로 환자의 증상을 분석하고 진단을 도출하는 과정이 요구된다고 판단되었다.
2) 설계(Design): 인공지능 기반 가상 환자 챗봇 설계
(1) 챗봇 시나리오 설계
이전 학년에서 교수자와 학생 간의 피드백을 통해 시나리오를 개발하고 실제 오프라인상의 CPX 역할극에서 활용하여 시나리오의 오류를 줄이고 적용가능성을 높인 수업용 시나리오를 기반으로 가상환자 챗봇을 개발하였다. 수업에서는 학생들이 의사용 시나리오와 환자용 시나리오를 각각 개발하였으며, 본 수업에서는 환자용 시나리오를 사용하였다. 수업에서는 상복부 통증이라는 증상만 제공하고, 환자조는 급성 췌장염이라는 질환은 설정했지만, 의사조에서는 증상만 알고 진단명은 모르기 때문에 문진과 이학적 검진 및 몇가지 검사결과를 통해서 임상추론을 통해 진단명을 맞추는 역할극을 수행하였다. 이러한 수업 과정에 대해서는 선행연구를 통해 보고한 바 있다7.
가상환자 챗봇은 환자와의 상호작용을 통해 학습자가 양방 진단과 한방 변증을 수행할 수 있도록 설계되었다. 챗봇의 학습 시나리오는 크게 학습자 정보 입력ㆍ확인, 진료시작, 문진 및 신체검사, 최종진단 단계로 구분된다(Fig. 1). 학습자 정보 입력ㆍ확인에서는 챗봇이 실행될 때, 학습자가 이름과 학번을 입력하여 개별 학습 데이터를 기록하도록 한다. 진료 시작에서는 챗봇 사용 지침서를 통해 사용법을 익힌 후, 본격적으로 챗봇이 가상환자로서 역할을 시작하며 진료가 진행된다. 이때, 나이, 성별, 생년월일, 신장, 체중, 활력징후 등의 가상 환자의 기본 정보를 제시하여 학습자가 환자의 전반적인 상태를 파악할 수 있도록 하였다. 이 두 단계는 학습자가 모의진료에 몰입할 수 있도록 명확히 구분하여 설계하였다. 문진 및 신체검사 단계에서는 학습자가 입력한 질문에 대해 챗봇이 사전에 설정된 답변을 제공하며, 양방 및 한방 변증을 위한 문진을 수행할 수 있도록 하였다(Fig. 2). 또한, 학습자가 요청하면 심전도 검사, 심음/폐음 청진 검사, 혈액검사, 영상검사, 설진, 복진 등의 다양한 검사 결과를 텍스트, 이미지, 청각 자료 등의 형태로 제공하여 실제 진료 환경과 유사한 경험을 제공한다(Fig. 2). 마지막으로 최종 진단에서는 학습자가 환자와의 대화를 바탕으로 양방 및 한방 진단명을 입력하면 챗봇이 이를 평가하고 피드백을 제공한다. 정답일 경우 다음 단계로 진행되며, 오답일 경우 다시 정답을 입력할 기회를 제공하였다(Fig. 3). 정답 확인 후에는 해당 질환의 진단 기준, 주요 검사 소견, 감별진단에 필요한 핵심 정보를 포함한 정답 해설을 제공하여 학습자가 자신의 진단 근거를 재확인할 수 있도록 하였다. 또한 Dialogflow CX의 conversation history 기능을 통해 학습자는 자신의 문진 및 대화 과정을 다시 확인할 수 있도록 하였으며, 이를 통해 질문의 흐름과 임상 추론 과정을 스스로 성찰할 수 있는 자기 점검 형태의 피드백 환경을 구축하였다. 본 연구에서 제공한 피드백은 진단명 및 변증명의 정답 여부 확인, 정답 확인 후 제공되는 해설, conversation history 기반 자기 점검 지원을 중심으로 구성하였다.
3. 개발(Development): 인공지능 기반 가상 환자 챗봇 개발
1) 챗봇 개발 도구
본 연구에서는 Dialogflow CX를 학습 도구로 선정하였다. Dialogflow CX는 Google Cloud에서 제공하는 고급 자연어 이해(NLU) 플랫폼이다. Dialogflow CX는 비전공자도 쉽게 챗봇을 제작하고 수정할 수 있도록 설계된 플랫폼이다. 특히, 대화 구조를 흐름(flow) 단위로 시각화하여 제공하는데, 이는 2차원 평면상의 연결 알고리즘 형태로 표현되어 대화 체계를 직관적으로 이해할 수 있도록 돕는다12. 이러한 특성은 진단 과정에서의 복잡한 질문 흐름을 명확하게 구성하여 가상환자 챗봇의 대화 시나리오를 체계적으로 구현할 수 있다. 아울러, 대화의 흐름과 답변을 시각적으로 관리할 수 있는 인터페이스를 제공함으로써, 챗봇의 지속적인 개선과 업데이트를 효율적으로 수행할 수 있도록 지원한다. Dialogflow CX는 또한 Conversation history 기능을 사용하여 학습자와 챗봇의 대화를 기록할 수 있다. 이를 통해 학습자가 자신의 대화 기록을 돌아보면서 스스로 문제점을 발견하고 개선하며 학습이 어떻게 발전했는지 확인할 수 있다. 단순히 챗봇과의 문답이 아니라, 학습 과정의 기록을 통해 지속적인 개선과 피드백이 가능하다.
2) 챗봇 프로토타입 개발 및 사용성 평가
챗봇 시나리오 설계 및 기능 구현 후, 프로토타입을 개발하고 사용성 평가를 진행하였다. 사용성 평가는 학습자가 챗봇을 활용하여 진단 절차를 수행하는 과정에서 챗봇의 효과성과 실용성 등을 검토하고 학습 도구로서의 효과를 극대화하기 위한 방안을 모색하기 위해 실행되었다. 평가 항목으로는 사용성, 효율성, 정보 전달의 명확성, 에러 처리 및 회복성, 학습효과 등을 포함한 설문 5문항과 챗봇의 강점 및 약점을 파악하기 위한 면담 3문항으로 구성되었다. 1차 사용성 평가는 한의과대학 학생 2명을 대상으로, 2차 사용성 평가는 한의과대학 학생 7명을 대상으로 설문 조사와 면담을 실시하였다. 평가 결과를 바탕으로 챗봇의 문진 범위 안내, 오류 처리, 응답 방식 등을 개선하여 보다 실제 임상에 근접한 학습 환경을 제공하도록 수정하였다.
3) 챗봇 개발
상복부 통증(증상), 급성 췌장염(질환), 간담습열(한방 변증)을 중심으로 역할극 시나리오와 데이터셋을 구성하였으며, 이를 기반으로 챗봇을 개발하였다. Dialogflow CX를 활용한 챗봇 개발에서는 학습자가 다양한 질문을 제시하더라도 정확한 응답을 제공하여 진단 과정에서 오류가 발생하지 않도록 하는 데 중점을 두었다. 이를 위해 동일한 의도를 가진 질문을 다양한 문장 형태로 학습시켰으며, 학습자가 사용할 가능성이 높은 발화를 예측하여 자연스러운 대화 흐름을 형성하도록 설계하였다.
본 연구의 챗봇은 학습자 발화를 사전에 정의된 intent로 분류한 뒤 미리 설계된 flow/page 구조와 응답 매핑에 따라 작동하도록 구성하였다. Dialogflow CX 내에서 챗봇은 Default Start Flow, 문진 및 신체검사 flow, 최종진단 flow의 세가지 주요 flow로 구성하였다. Default Start Flow는 학습자 정보 입력･확인, 사용 지침 안내 및 진료 시작 page로 구성하였고, 문진 및 신체검사 flow는 학습자의 문진 및 신체검사 관련 발화를 처리하는 page로 구성하였다. 최종진단 flow는 양방진단명 입력 및 피드백, 한방병력청취, 변증 입력 및 피드백 page로 구성하였다. 학습자의 발화가 특정 intent와 매칭되면 해당 route 또는 page에 연결된 predefined fulfillment response가 출력되도록 설정하였다.
예를 들어 통증 부위와 관련된 질문은 “통증부위” intent로 구성하였으며, training phrase에는 “통증이 나타나는 곳이 어디인가요?”, “어느 부위가 아프신가요”, “통증 부위” 등이 포함되었다. 해당 intent가 매칭될 경우 fulfillment response인 “명치 부위에 찌르는 듯한 통증이 있어요.”가 출력되도록 설정하였다.
Intent에 매칭되지 않는 학습자 발화는 Dialogflow CX의 no-match event handler인 sys.no-match-default를 통해 처리하였다. 학습자 발화가 사전에 정의된 intent의 training phrase와 충분히 매칭되지 않아 Dialogflow CX에서 특정 intent로 분류되지 않은 경우를 no-match로 간주하였다. No-match 상황에서는 “다시 말씀해주실래요?”, “마지막에 말씀을 잘 못 이해한 것 같아요”와 같은 fallback fulfillment response 중 하나가 제공하여 학습자가 질문을 다시 입력하도록 안내하였다.
4. 실행(Implementation): 인공지능 기반 가상 환자 챗봇 적용
본 연구는 2024학년도 원광대학교 한의과대학 한의학과 본과 3학년 및 4학년 학생 32명을 대상으로 진행되었다. 연구대상자의 기존 Clinical Performance Examination(CPX) 관련 학습 경험은 학년에 따라 차이가 있을 수 있으나, 모든 연구대상자는 본 연구 이전에 본 챗봇에 적용된 상복부 통증 시나리오를 Standardized Patient(SP) 기반 CPX, Team-Based Learning(TBL) 또는 학생 간 역할극 방식으로 수행한 경험은 없었다. 또한 연구대상자는 이전 학년에서 학생 간 역할극 기반 CPX 수업을 통해 해당 시나리오의 개발 및 적용에 참여한 학생과는 다른 집단이었다. 이들은 가상 환자 챗봇을 활용한 학습 활동에 참여하였으며, 활동 전과 후에 설문조사를 시행하였다. 연구대상자의 개인정보 보호 및 윤리적 고려를 위해 영남대학교 기관생명윤리위원회(IRB)의 심의를 거쳐 승인(7002016-A-2025-166)을 받아 진행되었다. IRB승인 내용에 따라 학년 정보만 수집하였으며, 기타 개인정보는 별도로 수집하지 않았다.
가상 환자 챗봇 사용 전, 원광대학교 학습관리시스템(LMS)인 Waffle에 게시된 Google Forms(Google 설문지) 링크를 통해 사전 학습 동기 설문을 실시하였다. 학습자는 사전 설문을 작성 후, 본 연구의 가상환자 챗봇을 사용하여 학습을 진행하였다. 해당 학습 활동은 개별 활동으로 진행되었으며, 챗봇 사용 제한시간은 20분이었다. 챗봇 사용 과정에서 교수자의 직접적인 개입은 이루어지지 않았다. 가상 환자 챗봇 사용 후, 챗봇이 사후 설문지 링크를 제공하여 학습자가 사후 학습 동기 및 챗봇 사용성 설문에 응답하도록 하였다. 사전 및 사후 설문에는 연구대상자 32명 전원이 응답하여 응답률은 100%였으며, 분석 대상 자료에 결측값은 없었다.
5. 평가(Evaluation): 인공지능 기반 가상 환자 챗봇 효과 검증
1) 평가도구
진단학에 대한 학습 동기와 인공지능 기반 환자 챗봇의 사용성을 조사하기 위해 사전 및 사후 설문지를 구성하였다. 사전 설문지는 학습자의 진단학 학습 동기를 평가하기 위하여 외적 가치(4문항), 내적 가치(4문항), 과제 가치(4문항)의 세 하위 영역으로 구성된 총 12개 문항으로 이루어졌다. 각 문항은 Park(2020)의 연구13에서 활용된 설문 항목을 본 연구에 맞게 수정･보완하여 5점 리커트 척도로 구성하였다. 사후 설문지는 학습자의 진단학 학습 동기를 평가하는 12개 문항과 챗봇의 사용성을 평가하는 문항으로 구성되었다. 사용성 평가 문항은 객관식과 주관식으로 구성하였다. 객관식 문항은 사용 용이성(3문항), 유용성(3문항), 만족도(3문항)의 세 가지 측면을 평가하도록 설계하였다. 주관식 문항은 챗봇의 장점, 단점 및 개선점, 챗봇을 활용한 학습 경험, 기대와의 차이 등 네 가지 주제를 포함하여 총 4문항으로 구성하였다. 챗봇의 사용성 평가 문항 또한 선행연구14-18에서 활용된 설문항목을 본 연구에 맞게 수정 및 보완하여 5점 리커트 척도와 개방형 질문 형태로 구성하였다.
2) 분석방법
수집된 자료는 Shapiro-Wilk test를 이용하여 정규성을 검정하였으며, 정규성 가정을 충족하지 못하는 것으로 나타나 비모수 통계법을 적용하였다. 학습동기 점수는 사전･사후 설문 응답을 바탕으로 산출하였으며, 학습동기 총점은 12개 문항 점수의 평균값으로 계산하였다. 또한 학습동기의 하위영역인 내적 가치, 외적 가치, 과제 가치는 각각 해당 영역에 포함된 4개 문항 점수의 평균값으로 산출하였다. 산출된 학습동기 총점 및 하위영역별 점수는 평균과 표준편차(Mean±SD)로 제시하였다. 사전･사후 동기 변화를 비교하기 위해 Wilcoxon signed rank test를 실시하였으며, 사용성 점수는 평균과 표준편차(Mean±SD)로 산출하였다. 모든 데이터 분석은 IBM SPSS Statistics 29.0 프로그램을 사용하였고, 통계적 유의수준은 p<0.05로 설정하였다.
챗봇의 사용성에 대한 주관식 응답은 Braun & Clarke(2006)의 주제분석 방법을 활용하여 정성적으로 분석하였다. 주관식 응답은 연구자 2인이 자료를 유사한 내용별로 코딩한 후, 주제를 도출하고 그룹화하여 정성적으로 분석하였다. 이후 나머지 연구자 2인의 추가 검토를 거쳐 최종적으로 정리하였다.
Ⅲ. 결 과
1. 진단학 학습에 대한 동기 변화 분석
진단학 학습동기의 사전 점수는 3.99±0.60이었으며 사후 점수는 4.14±0.59로 나타났다. Wilcoxon signed rank test 결과, 사전 점수보다 사후 점수가 통계적으로 유의미하게 높았다(p=0.002)(Table 1). 하위영역별로 살펴보면, 내적 가치는 사전 4.05±0.57점에서 사후 4.23±0.58점으로 유의하게 증가하였고(p=0.005), 외적 가치는 사전 3.50±0.97점에서 사후 3.68±0.91점으로 유의하게 증가하였다(p=0.013). 반면 과제 가치는 사전 4.43±0.59점에서 사후 4.52±0.55점으로 증가하였으나, 통계적으로 유의한 차이는 나타나지 않았다(p=0.189). 이는 가상환자 챗봇을 경험한 후 진단학에 대한 전반적인 학습동기가 향상되었으며, 하위영역 중에서는 내적 가치와 외적 가치의 변화가 두드러졌음을 보여준다.
Table 1
Results of Changes in Diagnostic Medicine Learning Motivation Before and After the Virtual Patient Chatbot
| Variable | Participants (n=32) | |||
|---|---|---|---|---|
|
|
||||
| Pre*† | Post*† | z** | p-value** | |
| Intrinsic value | 4.05±0.57 | 4.23±0.58 | -2.781 | 0.005 |
| Extrinsic value | 3.50±0.97 | 3.68±0.91 | -2.487 | 0.013 |
| Task value | 4.43±0.59 | 4.52±0.55 | -1.313 | 0.189 |
| Learning Motivation in Diagnostic Medicine | 3.99±0.60 | 4.14±0.59 | -3.024 | 0.002 |
2. 인공지능 가상환자 챗봇에 대한 사용성 평가 분석
사용성 평가 결과, 전체 사용성 점수는 4.04±0.67점이었다. 하위 요인별로는 유용성이 4.36±0.59점으로 가장 높았고, 만족도 3.90±0.94점, 용이성 3.86±0.80점 순으로 나타났다. 개별 문항 중에서는 유용성 영역의 ‘가상환자 챗봇이 진단학 학습에 도움이 된다고 생각하십니까?’가 4.44±0.56점으로 가장 높았으며, 유용성 영역의 나머지 문항들도 4점 이상으로 평가되었다. 반면, 용이성 영역과 만족도 영역의 일부 문항은 3점대 후반으로 나타나, 가상환자 챗봇의 학습적 유용성에 비해 사용 편의성과 기대 충족 측면의 평가는 상대적으로 낮았다(Table 2).
Table 2
Results of the Usability Evaluation Items of the Virtual Patient Chatbot
| Category | Item** | Mean±SD* (n=32) |
|---|---|---|
| Usability | Was the interaction with the virtual patient chatbot intuitive and easy to use? | 3.84±0.95 |
| Was it easy to input commands or questions while using the virtual patient chatbot? | 3.88±0.94 | |
| Did the virtual patient chatbot help facilitate the diagnostic process? | 3.88±0.87 | |
| Subtotal | 3.86±0.80 | |
|
|
||
| Usefulness | Do you think the virtual patient chatbot is helpful for learning diagnostic medicine? | 4.44±0.56 |
| Do you think the virtual patient chatbot is helpful for diagnostic practice? | 4.34±0.70 | |
| Do you think the virtual patient chatbot helps improve diagnostic competency? | 4.31±0.64 | |
| Subtotal | 4.36±0.59 | |
|
|
||
| Satisfaction | Overall, how satisfied were you with the virtual patient chatbot itself? | 3.88±0.98 |
| Overall, how satisfied were you with the activities using the virtual patient chatbot (conversation, questioning, etc.)? | 3.97±1.00 | |
| To what extent did the virtual patient chatbot meet your expectations? | 3.84±1.08 | |
| Subtotal | 3.90±0.94 | |
|
|
||
| Total | Overall usability evaluation score | 4.04±0.67 |
3. 인공지능 가상환자 챗봇의 활용경험 및 장단점에 대한 정성적 분석
정성적 분석 결과, 인공지능 가상환자 챗봇 활용 경험과 장단점에 대한 응답은 총 4개의 범주와 각 범주별 핵심 주제로 도출되었으며, 그 결과를 Table 3에 요약하여 제시하였다.
Table 3
Qualitative Analysis of Learning Experiences and Perceived Strengths and Limitations of the Artificial Intelligence-Based Virtual Patient Chatbot
| No. | Category | Key Themes* |
|---|---|---|
| 1 | Learning experiences and reflections through the virtual patient chatbot |
- Recognition of the need for clear and specific questions - Learning and reflection on the diagnostic process - Recognition of the need for a systematic questioning sequence - Experience of difficulties in patient communication - Recognition of one’s own limitations |
|
|
||
| 2 | Perceived strengths of the virtual patient chatbot |
- Efficient and rapid learning opportunities - Immersive experience similar to real patient encounters - Accuracy of chatbot responses and information provision |
|
|
||
| 3 | Differences between expectations and actual user experiences |
- Information gaps due to limitations in question understanding - Unintended responses caused by keyword-based reactions - Positive evaluation of more natural conversation than expected - No significant difference from expectations |
|
|
||
| 4 | System limitations and future improvements |
- Need to expand the scope of information provided - Need to refine question recognition and comprehension - Suggestions for introducing additional functions - Satisfaction with and preference for maintaining the current system |
1) 가상환자 챗봇을 통한 학습 경험 및 성찰
가상환자 챗봇과의 상호작용을 통해 학습자가 경험한 교육적 효과와 성찰을 분석한 결과, 크게 ‘명확하고 구체적인 질문의 필요성 인식’, ‘실제 진단 과정에 대한 학습과 고민’, ‘체계적인 질문 순서의 필요성’, ‘환자와의 의사소통의 어려움 경험’, ‘자신의 한계 인식’의 5가지 주제가 도출되었다. 첫째, 학습자들은 진단 과정에서 질문의 명확성과 구체성이 핵심임을 깨달았으며, 전형적이지 않은 증상에 대비해 세밀한 문진과 검사를 통한 감별진단이 필수적임을 인식하였다. 둘째, 챗봇과의 대화를 통해 효과적인 질문 기법을 익히고, 실제 의료 현장에서 신속한 문진을 수행하기 위한 개인별 질문 매뉴얼 마련의 필요성을 실감하였다. 셋째, 문진 시 논리적인 흐름을 유지하는 체계적인 질문 순서의 중요성을 학습하였으며, 비체계적인 방식이 환자에게 혼란을 줄 수 있다는 점을 확인하였다. 넷째, 환자가 자신의 증상을 명확히 인지하지 못하거나 기대와 다르게 응답하는 상황을 통해 의사소통의 실제적인 어려움을 경험하였다. 마지막으로, 사고 과정을 정리하여 즉각적으로 질문을 구성하는 것이 예상보다 까다롭다는 점을 느끼며 예비 의료인으로서 자신의 한계를 인식하는 계기가 되었다.
2) 가상환자 챗봇의 활용상 장점
실제로 경험한 가상환자 챗봇의 장점은 ‘효율적이고 신속한 학습 가능성’, ‘실제 환자 대면과 유사한 몰입감’, ‘챗봇의 작동 정확성 및 정보 제공 능력’의 3가지 주제로 분류되었다. 우선 시공간의 제약 없이 반복적인 진단 실습이 가능하여 학습 효율성이 높았으며, 특히 CPX대비를 위한 자유로운 질문 연습 기회를 제공한다는 점이 큰 장점으로 꼽혔다. 또한, 챗봇이 실제 환자처럼 구체적이고 비획일적인 답변을 제공함으로써 생동감 있는 몰입을 유도하였고, 이는 임상적 의사소통 능력을 기르는 데 유익한 것으로 나타났다. 아울러 챗봇은 자연스러운 구어체 질문에도 적절히 응답하는 높은 이해도를 보였으며, 식습관이나 생활 패턴 등 정밀한 문진에 필요한 추가 정보를 효과적으로 전달하는 능력을 갖추고 있었다.
3) 예상과 달랐던 점 및 사용자 경험의 차이
사용 전 예상했던 것과 실제 경험 사이의 차이를 분석한 결과, ‘일부 질문 이해 부족에 따른 정보 단절’, ‘특정 키워드 반응에 따른 의도 외 답변’, ‘예상보다 자연스러운 대화 구현’, ‘특별한 차이점 없음’의 4가지 주제가 확인되었다. 학습자들은 동일한 질문이라도 표현 방식이 달라지면 챗봇이 제대로 답변하지 못하는 경우를 경험하며 보다 유연한 대응의 필요성을 느꼈으며, 질문 속 특정 키워드에만 반응하여 본래 의도와는 다른 답변이 반복되는 점을 의외의 한계로 지적하였다. 반면, 기술적으로는 딱딱한 AI의 응답이 아닌 실제 환자와 유사한 매끄러운 구어체와 구체적인 답변 수준에 놀라움을 표하기도 하였다. 일부 학습자들은 초기 개발 단계임에도 불구하고 별다른 단점이나 예상과의 괴리를 발견하지 못할 정도로 시스템에 만족한다고 응답하였다.
4) 시스템 단점 및 향후 개선 제안
가상환자 챗봇 시스템의 개선 및 추가 기능 제안은 ‘정보 제공 범위의 확대’, ‘질문 인식 및 이해도의 정교화’, ‘부가적인 기능 도입’, ‘현재 상태 유지’의 4가지 측면으로 나타났다. 먼저 임상 현장의 다양성을 반영하여 챗봇이 응답할 수 있는 질문의 범위를 더욱 넓혀야 한다는 의견이 지배적이었으며, 특히 ‘통증 완화’와 관련된 다양한 유사 표현을 동일한 의미로 인식할 수 있도록 유연한 학습이 필요함을 강조하였다. 기능적 측면에서는 실제 메신저와 같은 대화 중 검색 기능이나 실전 감각을 높이기 위한 제한 시간 설정 기능, 그리고 한방 문진 특화 기능 등의 도입이 제안되었다. 끝으로 현재의 시스템만으로도 교육적 유용성이 충분하며, 향후 데이터 축적을 통해 더욱 발전된 형태의 AI 교육 도구가 될 것에 대한 기대감을 드러냈다.
Ⅳ. 고 찰
본 연구는 한의과대학 학생을 대상으로 AI 기반 가상환자 챗봇을 개발하고, 이를 임상문제해결학습(CBL)에 적용하여 교육적 효과성과 사용성을 탐색하였다. 본 연구에서 개발된 가상환자 챗봇은 실제 임상 시나리오를 기반으로 하여 문진, 검사 결과 해석, 진단적 사고 과정을 단계적으로 유도하도록 설계되었으며, 학습자가 능동적으로 질문하고 피드백을 받는 상호작용 중심의 학습 환경을 제공하였다. 연구 결과, 가상환자 챗봇 활용 후 학습자들의 진단학 학습동기 총점이 사전 점수에 비해 통계적으로 유의미하게 향상된 것으로 나타났다. 또한 사용성 평가에서도 학습자들은 공간과 시간의 제약 없는 반복 실습의 가능성과 실제 임상과 유사한 몰입감에 대해 긍정적으로 평가하였으며, 이는 AI기반 가상환자 챗봇이 한의학 임상 교육에서도 실제적인 학습 매체로 기능할 수 있음을 실증적으로 보여준다.
특히 본 연구에서 주목할 만한 점은 가상환자 챗봇 활용 전후의 학습동기가 유의미하게 상승했다는 점이다. 이는 기존 의학 및 간호 교육 분야에서 챗봇을 활용했을 때 학습 만족도나 지식 습득도는 높았으나 동기 유발 측면에서는 결과가 혼재되었던 선행연구19와 차별화되는 지점이다. 본 연구에서 학습동기가 향상된 주요 원인은 챗봇이 제공하는 ‘즉각적인 상호작용성’과 ‘심리적 안정감’에 기인한 것으로 해석된다. 본 연구의 챗봇은 학습자의 질문에 따라 맞춤형 피드백을 제공함으로써 학습자가 스스로 임상 추론 과정을 주도하고 있다는 성취감을 느끼게 하였고, 이것이 내재적 동기 강화로 이어진 것으로 보인다. 여기서 맞춤형 피드백은 학습자가 입력한 진단명에 대한 정오 평가와 반복 입력 기회 제공, 그리고 conversation history 기반 자기 점검 기능을 포함한다. 학습자는 자신의 문진 과정을 다시 확인하며 질문 흐름과 임상 추론 과정을 성찰할 수 있었다. 다만 문진 전반에 대한 자동 평가나 필수 질문 누락 탐지 기능까지는 포함하지 못하였으며, 향후 보다 정교한 단계별 피드백 시스템 개발이 필요하다. 또한 선행연구에 따르면, 학습자는 실제 환자나 교수자와의 대면 상황에서 오는 평가 불안을 챗봇과의 대화에서 낮출 수 있었으며 자신의 질문 수준이나 오류가 평가로 직접 연결되지 않는 환경에서 자유롭게 사고하고 시도할 수 있었다. 이는 실패에 대한 부담을 낮추고 반복 학습을 가능하게 하여, 이러한 낮은 인지적 부담이 도전적인 학습 과제에 대한 몰입(Flow)과 동기를 자극하는 촉매제가 된다20.
본 연구의 사용성 평가 결과는 기존 보건의료 분야 가상환자 시스템 연구들과 대체로 일치하는 경향을 보였다. 특히 시공간의 제약 없이 실습 기회를 제공한다는 점은 선행연구21에서 언급된 챗봇의 최대 장점인 접근성 및 효율성을 재확인시켜 주었다. 다만, 일부 학습자들이 지적한 ‘질문 인식의 한계’는 자연어 처리(NLP) 기술을 활용한 기존 연구들22에서도 공통적으로 나타나는 기술적 과제로 확인되었다. 본 연구의 챗봇은 Dialogflow CX 기반의 intent 및 키워드 매칭 방식을 활용하였기 때문에, 학습자가 동일한 임상적 의미를 지닌 질문을 하더라도 미리 정의되지 않은 표현이나 변형된 어휘를 사용할 경우 의도를 정확히 인식하지 못하는 한계가 있었다. 예를 들어, 통증 완화 요인을 확인하는 과정에서 “무엇을 하면 덜 아픈가요?”와 “통증이 완화되는 상황이 있나요?”를 서로 다른 발화로 처리하여 정보 제공이 누락되는 사례가 관찰되었다. 이러한 기술적 한계는 실제 표준화 환자(Standardized Patient, SP) 기반 CPX 상황에서 SP가 학습자의 질문 맥락을 유연하게 이해하고 상호작용하는 것과 뚜렷한 차이를 보이는 지점이다. 또한 실제 SP는 비언어적 표현과 상황에 맞는 추가 설명을 통해 학습자의 임상적 추론을 유기적으로 보조할 수 있으나, 본 프로그램은 사전에 설정된 응답 시나리오 범위 내에서만 제한적인 상호작용이 가능하다는 한계가 있다. 향후에는 대규모 언어모델(LLM) 기반의 의미 중심 자연어 이해(NLU) 및 문맥 유지 기능을 도입함으로써, 다양한 학습자 발화를 유연하게 해석하고 임상 추론 흐름에 맞춘 다차원적 피드백을 제공하는 고도화 연구가 필요하다.
학습자들의 개방형 응답을 통한 정성적 분석 결과, ‘실제 환자를 대하는 것과 유사한 경험’과 “질문 매뉴얼 마련의 필요성”이 주요 주제로 도출되었다. 이는 간호대학생을 대상으로 한 질적 연구23에서 나타난 ‘비판적 사고의 확장’ 및 ‘임상 판단 능력 향상’과 유사한 맥락을 갖는다. 특히 한의과 학생들은 단순 지식 인출이 아닌, 환자의 증상을 변증(辨證)하기 위해 질문을 스스로 구조화하는 과정에서 높은 성취감을 느꼈다고 응답하였다. 이는 학습자가 정보를 수동적으로 받아들이는 것이 아니라 환자의 증상 단서를 바탕으로 필요한 질문을 스스로 설계하고 임상 추론 과정을 능동적으로 구성하는 학습 경험을 제공했기 때문으로 해석된다. 또한 이러한 상호작용 과정은 실제 임상에서 이루어지는 문진의 사고 흐름을 반복적으로 연습하게 하여, 학습자가 자신의 추론 전략을 점검하고 수정하는 메타인지적 학습 경험을 촉진했을 가능성이 있다. 이러한 결과는 챗봇이 단순한 질의응답 도구를 넘어 학습자의 임상적 사고 체계를 형성하는 ‘인지적 비계(Cognitive Scaffolding)’ 역할을 수행하고 있음을 시사한다.
기존 연구들과 비교하여 본 연구의 형식상 다른 점은 실제 임상 수업 현장에서 활용되는 시나리오를 바탕으로 개발되어 시나리오의 완결성이 높고, 한의학적 진단 특성을 반영한 다중매체(이미지, 영상, 음성 등) 정보를 적극적으로 활용했다는 점이다. 이는 단순히 텍스트 위주로 정보를 전달하던 기존의 보건의료 챗봇 연구들24과 비교했을 때, 한의학의 사진(四診) 중 망진(望診)과 문진(聞診)을 간접적으로나마 구현하여 임상적 몰입감을 극대화했다는 의의가 있다. 이러한 시청각 자료의 결합은 학습자가 가상환자를 단순한 텍스트 덩어리가 아닌 실제 임상 사례로 인식하게 하여 진단적 사고를 자극하는 유용한 도구로 작용하였다. 그간 한의학 교육 분야에서 AI 기술 활용은 주로 기술 개발이나 인터페이스 평가 수준에 머물러 있었다. 반면, 본 연구는 양방 의학이나 간호학 분야에서 시도되었던 CPX 관련 챗봇 연구들25,26의 흐름을 한의학 교육에 성공적으로 이식하였을 뿐만 아니라, 실제 정규 교과 과정 내에서 교육적 효과성을 양적･질적 데이터 기반으로 탐색했다는 점에서 의의가 있다. 이는 챗봇이 단순한 정보 제공 도구를 넘어, 학생들의 의사결정 과정에 깊이 개입하여 기존 강의식 교육이나 수동적 CBL학습을 보완하고 교육 현장에서 활용 가능한 보조적 학습 도구로 발전할 가능성을 시사한다. 기존 한의학 교육 분야에서도 AI 기반 챗봇을 활용한 연구가 이루어지고 있으며, ChatGPT 기반의 한의학 특화 챗봇이 임상 및 CPX 시나리오 적용에서 높은 응답 수준을 보이며 자기주도 학습 도구로서의 가능성을 보고한 바 있다27. 또한 LLM 기반 CPX 연습 챗봇 연구에서는 자동 점수 산출과 맞춤형 피드백 제공을 통해 기존 임상수행평가(CPX)의 한계인 평가자 의존성과 피드백 부재를 개선할 수 있는 가능성이 제시되었다28. 그러나 이러한 선행연구들은 주로 시스템 개발과 사용 가능성 중심 평가에 머물러 있으며, 실제 정규 교과 과정 내에서 양적･질적 교육 효과를 동시에 검증한 사례는 제한적이다. 본 연구는 이러한 맥락에서 한의학 교육 현장에 직접 챗봇을 도입하고, 학습자 동기 및 임상추론 향상 등 학습 효과를 실증적으로 분석했다는 점에서 기존 연구와 차별성을 가진다.
그럼에도 불구하고 몇 가지 한계가 존재한다. 첫째, 본 연구는 학습동기와 사용성, 학습자의 주관적 경험을 중심으로 교육적 유용성을 탐색한 초기 탐색적 연구라는 한계가 있다. 즉, 기존의 TBL이나 SP기반 CPX 교육과 비교하여 학습자의 진단 정확도, 문진 수행 능력, 임상 추론 과정의 질적 수준 등을 정량적으로 평가할 수 있는 객관적 성과 지표를 제시하지 못했다. 따라서 본 연구의 결과만으로 챗봇 기반 학습이 기존 교육 방법보다 우월한 임상추론 강화 효과를 가진다고 일반화하기에는 제한이 있다. 다만 학습자들의 정성적 응답에서 체계적인 질문 구성, 감별진단에 대한 사고 과정, 실제 환자와 유사한 의사소통 경험 등에 대한 성찰이 반복적으로 보고되었다는 점은 챗봇 기반 학습이 임상추론 과정에 긍정적인 영향을 미칠 가능성을 시사한다. 둘째, 사용성 분석에서 나타났듯 챗봇이 특정 키워드에 의존하여 답변을 생성함으로써 학습자의 유연한 언어 표현을 모두 수용하지 못한 기술적 제약이 있었다. 셋째, 챗봇의 답변이 한의학적 변증 체계를 완벽히 투영하기에는 아직 미흡한 부분이 있으며, 향후 전문가에 의한 답변의 임상적 타당성 검토가 더욱 정교하게 이루어져야 한다.
향후 연구에서는 다기관, 대규모 표본을 대상으로 한 반복 연구를 통해 본 연구 결과의 일반화 가능성을 검증할 필요가 있다. SP기반 CPX 또는 기존 CBL/TBL 교육과의 비교 연구를 통해 진단 정확도, 필수 문진 수행 여부 및 red flag 확인, 임상 수행평가 점수 등 객관적 지표를 포함한 교육 효과 평가가 필요하다. 또한 한의학 변증 논리를 보다 정밀하게 반영할 수 있는 지식 구조를 도입하고, 학습자의 추론 과정에 대한 피드백을 단계화함으로써 교육적 효과를 더욱 강화할 수 있을 것이다. 교육적 측면에서는 가상환자 챗봇을 CPX 사전 학습 도구 또는 형성 평가 도구로 활용하는 방안도 고려할 수 있으며, 이는 제한된 임상 실습 자원을 보완하는 현실적인 대안이 될 수 있다. 나아가 AI 기반 가상환자 챗봇은 향후 한의학 임상교육의 디지털 전환을 촉진하는 핵심 교육 매체로 발전할 가능성을 지닌다.
V. 결 론
본 연구는 AI 기반 가상환자 챗봇이 한의과대학 학생들의 학습동기를 긍정적인 학습 경험을 제공할 가능성이 있는 교육 도구임을 확인하였다. 특히 실제 임상 시나리오에 기반한 정교한 설계와 다중매체를 활용한 시청각 정보의 제공은 학습자의 몰입도를 높이고 자기주도적 학습을 촉진하는 핵심 요인으로 작용하였다. 본 연구의 결과는 향후 한의학 교육 현장에서 AI 기술을 활용한 다양한 교육 모델 개발의 기초 자료로 활용될 수 있을 것이다. 향후 연구에서는 더 폭넓은 임상 시나리오와 변증 유형을 포함한 시스템 고도화가 요구되며, 챗봇 기반 학습이 실제 변증논치(辨證論治) 역량 및 임상 수행 능력 향상에 미치는 장기적인 영향을 추적 조사할 필요가 있다.
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation
Print 
