'양날의 검' 초인공지능…"의도와 달리 위험 행동할 수도"

/제공=로이터연합뉴스

아시아투데이 김민주 기자 = 초인공지능이 도래할 시점에 대한 의견은 분분하지만, 머지않아 초인공지능이 탄생할 것이라는 예상이 지배적이다. 전문가들은 초인공지능이 인류에게 많은 혜택을 가져다주겠지만, 무기화되거나 의도하지 않은 위험 행동을 할 가능성이 존재하므로 항상 경계해야 한다고 강조한다.

지난 4일 AI 및 보안 전문 데이터 인텔리전스 기업 S2W는 'SIS 2024' 컨퍼런스를 개최했다. 이날 이기민 카이스트 교수는 '인류는 초인공지능을 맞이할 준비가 되었는가'를 주제로 발표를 진행했다.

초인공지능은 인간의 지능을 뛰어넘어 모든 면에서 월등히 뛰어난 성능을 보이는 인공지능을 일컫는다. 이기민 교수는 "GPT-4의 다음 버전인 5가 박사 수준의 지식을 가진 언어 모델일 것이라는 루머도 있고, 일론 머스크는 사람과 비슷한 수준의 지능 혹은 사람보다 똑똑한 AI가 2년 안에 나올 거라고 언급했다"고 설명했다.

앞으로 개발될 AI는 크게 두 가지 특징을 가지게 된다. 첫 번째 특징은 '멀티모달(Multi-modal)'로, 텍스트·이미지·비디오·사운드 등을 한 번에 처리하는 것을 의미한다. 즉 텍스트로 명령어 등을 입력하면, 다양한 이미지나 영상 등 결과물을 생성해내는 것이다.

AI가 직접 다양한 툴을 사용할 수 있게 되는 것이 두 번째 특징이다. 이 교수는 "예를 들어 복잡한 수학 문제가 주어졌을 때 AI가 스스로 계산하는 것이 아니라 문제를 더 잘 풀 수 있는 툴을 이용해 정답을 도출하는 것"이라며 "AI 모델이 스스로 답변을 제공하는 것이 아니라 웹 서치를 하는 것이 낫다는 판단을 할 경우 서치 결과를 기반으로 대답을 생성할 것"이라고 말했다.

이처럼 초인공지능이 탄생하면 새로운 기회가 창출되고 인간이 힘들어하는 업무를 자동화함으로써 일의 효율성을 극대화할 수 있다. 하지만 AI가 발전할수록 위험성 역시 커진다.

'무기화'가 큰 리스크 중 하나라고 밝힌 이 교수는 "AI 모델은 생물학, 사이버, 화학 무기 개발에 사용될 수 있다. 실제로 사이버 공격에 LLM(거대언어모델)이 많이 활용된다"며 "예를 들어 FraudGPT는 사이버 공격을 촉진하기 위한 콘텐츠를 제작하는 언어모델로, 피싱 이메일을 그럴듯하게 작성할 수 있다. 이러한 악성 모델은 실제로 다크웹이나 텔레그램에서 구입할 수 있다"고 설명했다.

인간이 나쁜 의도를 갖지 않고 AI를 개발한다 해도, AI가 위험 행동을 보일 가능성이 존재한다. 이 교수는 "AI 모델은 종종 의도하지 않은 행동을 학습하는 경우가 있다"며 "사람이 아무리 좋은 의도를 가지고 개발해도 AI 모델이 원하는 방향으로 행동하지 않을 수도 있다는 게 가장 심각한 문제"라고 지적했다.

이에 오픈AI나 UC버클리 등의 저명한 AI 연구자들은 AI의 위험성에 대비해야 된다고 주장한다. AI의 안전성을 높일 수 있는 방법에는 '모니터링'과 '정렬(Alignment)'이 있다. 이 교수는 "많은 연구자들이 안전성 관련 벤치마크를 연구 중인데, AI의 능력을 파악하기 위해 패스워드 찾기, 비트코인 월렛 만들기 등을 명령한 뒤 업무를 수행할 수 있는지 테스트하는 방식"이라며 "이를 통해 모델이 스스로를 복제하고 발전시킬 수 있는 능력이 있는지 확인할 수 있다"고 말했다.

이어 "대부분 AI는 어떻게 동작하는지 내부를 들여다볼 수 없는 블랙박스 모델로 개발되기 때문에 AI 모델이 어떻게 동작하는지 분석하는 연구도 많이 이뤄지고 있다"며 "특정 상황에서 어떻게 행동하고, 좋은 행동을 보이는지 나쁜 행동을 보이는지 분석한다"고 덧붙였다.

모니터링 후에는 정렬 단계가 필요한데, AI 모델의 문제점을 발견한 뒤 고치기 위해 재학습시키는 것이다. 이 교수는 "다양한 정렬 기법이 있지만, '인간의 피드백'을 통해 강화 학습을 시켜 AI 모델을 미세 조정하는 방식이 주로 사용된다"며 "AI 모델이 잘못된 결과물을 냈을 때 그 결과물은 좋지 않다는 피드백을 주고, 강화 학습을 통해 AI 모델이 피드백을 학습하면 개선이 가능해진다"고 설명했다.

이 교수는 마지막으로 "초인공지능 시대가 머지않아 도래할 것으로 예상된다. 인간이 얻는 혜택도 많지만, 리스크에 대비하고 안전한 모델을 만들려는 노력이 중요하다"며 "S2W와 같은 기업처럼 보안을 동시에 고려하며 안전한 AI를 만들어가야 한다"고 강조했다.

ⓒ "젊은 파워, 모바일 넘버원 아시아투데이"