“믿고 쓰는 AI? 통제력 먼저 갖춰야”…세트 출력 '등각예측'으로 구현

[디지털데일리 김보민기자] 인공지능(AI) 시대가 도래했다는 이야기가 나오면서 빼놓지 않고 따라붙는 꼬리표가 있다. 바로 환각현상을 의미하는 '할루시네이션'이다. 할루시네이션은 생성형 AI가 거짓 정보를 마치 사실처럼 말하는 현상이다.

이에 일각에서는 'AI 통제력(Controllability)'를 갖추는 것이 우선시 돼야 한다는 목소리가 커지고 있다. 박상돈 포항공과대(POSTECH) 교수는 10일 삼성전자 서울R&D센터에서 열린 '삼성보안기술포럼(SSTF) 2024' 무대에 올라 "AI를 신뢰하고 사용하기 위해서는 이를 통제(control)'할 필요가 있다"고 강조했다.

AI 통제력은 새로운 개념은 아니다. 특히 생성형 AI가 등장한 뒤에는 더더욱 이에 대한 국내외 논의가 뜨거워지는 분위기다. 기술 특성상 사용자가 무언가를 '요청'하면 '결과물'을 주는 방식으로 운용이 되는데, AI 통제력은 이 과정에서 거짓 정보로 혼란이 야기되지 않도록 필터링을 하는 역할을 한다.

박 교수는 그 일환으로 '등각 예측(Conformal Prediction)'을 제시했다. 이 개념은 모델이 주어졌을 때, 그 모델에 대한 특정 값을 알고리즘으로 돌려 세트(set) 형태로 내뱉는 방식을 뜻한다. 일례로 특정 강아지 사진이 주어졌을 때, 세가지 종류를 제시하며 이 중에 정답이 있다고 가정하는 방식이다. 여러 선택지 중 반드시 답이 있고, 이 가운데 선별하는 하는 작업만 동반되면 되는 셈이다. 박 교수는 "결정권자가 정확한 답을 도출하도록 돕는 AI 시스템"이라고 정의했다.

그러나 이 개념을 바로 생성형 AI에 적용하는 것에는 어려움이 있다. 박 교수는 "그대로 적용할 경우 세트 사이즈가 커지게 된다"라며 "또한 생성형 AI가 복잡한 시스템을 갖춘 만큼 할루시네이션 문제가 추가로 따를 수 있다"고 설명했다.

박 교수는 이러한 한계를 넘어서기 위한 방법 중 하나로 '선택적 분류(Selective Classification)'을 꼽았다. 이는 세트가 제공한 정보가 올바르면 내뱉고, 그렇지 않을시 '나는 모른다(I don't know)' 취지의 답변을 내놓는 방식이다. 아울러 검색증강생성(RAG) 셋을 구현해, 정보를 찾는 리트리버(retriever) 단에서 통제력을 갖춘 알고리즘을 만들 수도 있다.

한편 박 교수는 보안 분야에서도 할루시네이션에 대한 우려를 제거한 '믿고 쓰는 AI'가 구현될 필요가 있다는 점을 시사했다. 끝으로 "'할루시네이션'이라는 이름은 직관적이면서도 추상적이기도 하다"며 "애플리케이션마다 할루시네이션을 정의해야 한다"고 제언했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -