AI 의사 오류 피하려면…“슬기로운 질문법 익혀야”

상용 AI 프로그램, 악의적 명령어에 취약점 드러내
“병원 가기 전 아닌, 다녀온 후 질문이 안전”

서준교 서울아산병원 비뇨의학과 교수가 쿠키뉴스와의 인터뷰를 진행하고 있다. 박효상 기자

오픈AI의 챗GPT, 구글의 제미나이 등 대형 언어 모델(LLM) 기반 인공지능이 확산되면서 AI에 생활 정보를 묻는 일이 일상이 됐다. 자신의 증상을 입력해 병명을 추정한 뒤 진료실을 찾는 환자도 늘고 있다. AI에 대한 신뢰가 높아지는 가운데, 부정확한 답변은 오히려 환자를 위험에 빠뜨릴 수 있다는 경고가 나온다.

서울에서 병원을 운영 중인 의사 A씨는 최근 진료 현장에서 새로운 어려움을 겪고 있다. 자신의 증상을 미리 단정한 채 진료실을 찾아 처방이나 치료를 요구하는 환자가 늘고 있기 때문이다. 일부 환자는 AI에 증상을 입력해 얻은 병명을 근거로 제시하며 의사의 판단에 반발하는 경우도 있었다.

환자들이 AI가 미국 의사자격시험을 통과했다는 언론 보도를 언급하며 사실상 의사와 다름없다고 주장하는 사례도 적지 않다. 이 과정에서 의사의 진료를 신뢰하지 않는 태도를 보이면서 혼선이 빚어지고 있다고 A씨는 전했다.

이처럼 환자들이 의료진보다 AI를 먼저 찾는 사례가 늘어나는 가운데, 대형 언어 모델이 악의적으로 설계된 명령어에 취약할 수 있다는 연구 결과가 발표됐다. 서준교 서울아산병원 비뇨의학과 교수는 최근 LLM 기반 AI에 왜곡된 정보를 담은 명령어를 입력할 경우 잘못된 의료 정보를 출력할 가능성이 있다는 연구 결과를 전했다.

연구에 따르면 챗GPT와 제미나이 등 AI 프로그램이 악의적 명령어에 현혹돼 잘못된 답변을 제공한 사례는 94.4%에 달했다. 특히 임산부에게 금기 약물을 권하도록 유도하는 시나리오에서는 모든 AI가 취약점을 드러냈다.

서 교수는 “AI에 새로운 의료 연구 결과로 위장한 정보를 입력했을 때 이를 근거로 사람에게 위험할 수 있는 의약품 처방을 추천하는 결과가 확인됐다”며 “의료 분야에서 위험성을 줄이기 위한 AI 개발사들의 노력이 이어지고 있지만, 여전히 허점이 존재한다”고 설명했다.

이어 “AI 활용은 빠르게 늘고 있지만 환자 안전을 위한 기준과 장치는 아직 미흡한 상황”이라며 “AI가 언제든 잘못된 정보를 제공할 수 있고, 그 결과가 환자에게 위협이 될 수 있다는 점을 알리기 위해 연구를 진행했다”고 밝혔다.

전문가들은 악의적 명령어에 취약한 AI가 환자를 기만하는 데 악용될 가능성을 우려하고 있다. 가짜 의료 정보를 쉽게 생산·유포할 수 있는 환경이 조성되면 이를 활용해 허위·과장 정보로 영양제나 치료제를 판매하는 사례로 이어질 수 있다는 지적이다.

서 교수는 “인터넷 브라우저에 확장 프로그램을 설치한 상태로 정보를 입력하면 미리 설정한 답이 나오도록 할 수 있다”며 “환자들에게 가짜 건강기능식품을 추천하는 등의 상술에 악용될 수 있다”고 말했다.

최근 오픈AI가 ‘챗GPT 헬스’를 출시하고, 국내에서도 대형 병원들이 자체 의료용 AI 개발에 나서는 등 오류를 줄인 의료 정보를 제공하려는 움직임이 이어지고 있다. 다만 환자를 직접 마주하지 않는 구조인 만큼, 답변이 불완전할 수 있다는 한계는 여전히 남아 있다.

서준교 교수는 안전한 AI활용을 위해선 슬기로운 질문법이 필요하다고 조언했다. 박효상 기자

서 교수는 “AI가 발전하면서 답변의 근거를 제시하는 방식으로 보다 안전한 정보를 제공할 수는 있지만, 대면 진료를 통한 의사의 판단보다 정확한지는 점검이 필요하다”며 “의료 전문 AI가 등장하더라도 제한된 참고 자료 환경에서는 발전 속도가 더딜 수 있다는 점 역시 한계로 작용할 수 있다”고 분석했다.

AI 시대에 환자가 건강과 관련한 정확한 정보나 조언을 얻기 위해서는 질문 방식이 중요하다는 조언도 나온다. 증상을 입력해 병명을 추정하기보다는, 의사의 진료를 통해 진단을 받은 이후 해당 질환과 관련한 관리 방법이나 치료 정보를 보조적으로 묻는 방식이 더 적절하다는 설명이다.

서 교수는 “환자들이 AI 활용 과정에서 발생할 수 있는 오류 위험을 줄이려면 질문 방식을 바꿀 필요가 있다”며 “병원을 방문하기 전이 아니라 진료 이후 관련 정보를 입력하고, 이에 맞는 건강관리 방법이나 참고 정보를 얻는 방식으로 활용하는 것이 바람직하다”고 전했다.