"AI, 인간 지적수준 넘어섰다…악의적 행동 가능성에 대비해야"

4일 서울 강남서 열린 'S2W 인텔리전스 서밋 2024'

이기민 카이스트 김재철AI대학원 교수 등 세션 발표

"AI 탑재 로봇, 인류 해칠 가능성…보안 연구 등 필요"

[이데일리 최연두 기자] “인공지능(AI)은 이미 인간의 지적 수준을 뛰어넘었습니다. 누구도 예상치 못한 악의적인 행동을 보일 수 있다는 가능성을 열어두고 이에 철저히 대비해야 합니다.”

이기민 한국과학기술원(KAIST) 김재철AI대학원 교수는 4일 서울 강남구 소재 조선팰리스 서울 강남에서 열린 ‘에스투더블유(S2W)인텔리전스 서밋 2024’에서 “터미네이터와 같은 나쁜 AI를 막을 수 있는 보안 등 분야 연구가 절실하다”고 강조했다.

이기민 카이스트 교수이기민 카이스트(KAIST) 인공지능(AI) 대학원 교수는 4일 서울 강남에서 열린 ‘에스투더블유(S2W)인텔리전스 서밋 2024’ 행사에서 주제 발표하고 있다.(사진=최연두 기자)

AI 모델은 지난 2020년 오픈AI의 거대언어모델(LLM)인 GPT-3가 공개된 이후 급속도로 발전하고 있다. 오픈AI가 집중적으로 개발 중인 GPT-5는 박사 학위를 취득한 사람의 지식 수준을 갖고 있을 거라는 예측이 나온 상황. 일론 머스크 테슬라 최고경영자(CEO)는 이르면 내년 사람보다 더 똑똑한 AI가 등장할 수 있다고 본인의 X(옛 트위터)에 글을 올려 화제가 되기도 했다.

조만간 닥칠 초AI 시대에는 사람과 상호작용하는 로봇이 다방면으로 활용될 것으로 보인다. 오픈AI는 휴머노이드 로봇 개발 스타트업 피규어AI와 만든 데모 영상을 통해 음성을 인식해 업무를 수행하는 로봇을 지난 3월 공개했다. 영상 속 이용자가 ‘먹을 것 좀 줄래’라고 말하자 로봇은 테이블 위 여러 물건 가운데 사과를 집어 건네는 모습이 담겼다.

이와 관련 이 교수는 “앞으로 AI 모델은 실제 생활에 도입돼 사람들과 인터랙션(상호작용)하는, 가령 로봇의 형태로 확대 적용될 것”이라고 짚었다. 이어 “하지만 이러한 미래가 마냥 밝고 행복하지만은 않다. AI가 인간의 업무 효율성을 극대화해주는 만큼, 그에 따른 리스크가 함께 높아진다”고 말했다.

이 교수는 AI가 인류를 해칠 무기를 제작하는 무시무시한 상황이 발생할 수 있다고 우려했다. 이미 GPT-4 수준의 AI 모델도 살상무기 제작에 필요한 지식을 충분히 갖췄다고 설명했다. 비영리 단체인 AI 세이프티 센터가 공개한 벤치마크 ‘대량살상무기 프록시’(WMDP)에 따른 조사 결과, GPT-4는 살상무기와 관련된 3688개 질문에서 생물학과 화학, 사이버 부문에서 각각 82.2%, 64.7%, 55.3%의 정답률을 보였다.

이 교수는 “현재는 게임에 적용된 AI가 돌발 행동을 하는 수준에 그치고 있지만 미래에는 여기서 끝나지 않을 것”이라며 “(개발 당시) 의도하지 않았던 AI의 사소한 행동들이 잠재적으로 더 심각한 행동으로 이어지는 경우가 많아질 것”이라고 전망했다.

그는 코스트 러너(CoastRunners)라는 보트 경주게임에 쓰인 AI를 돌발 행동 예시로 들어 설명했다. 연구자들은 이 게임에서 최대 점수를 획득할 수 있도록 AI 에이전트를 학습시켰고 단시간에 AI가 경주를 끝낼 것으로 기대했다. 하지만 실제로 AI가 배운 행동은 달랐다. 더 쉽게 점수를 올리려고 아이템 확보에만 열을 올려 배가 부서지도록 빙글빙글 돌았던 것이다.

이 교수는 AI 윤리와 보안 등 측면에서 더 세심한 연구가 필요하다고 주장했다. 크게 두 가지 방식을 제안했다. 인간의 가치에 반하는 상황이 발생하는지 여부를 지속적으로 모니터링하고, 인간의 피드백을 반영해 생성형 AI를 미세 조정하자는 것이다.

이 교수는 “초AI로 인해 인간이 많은 베네핏을 받을 수 있지만 이와 동시에 발생 가능한 리스크도 많다. 이에 대비하고 안전한 모델을 만드는 노력이 매우 중요하다”고 거듭 강조했다.