오픈AI "인공지능 사고 해석 가능하다"

[AI리포터]

AI의 사고 패턴을 인간이 이해할 수 있는 길이 열렸다 [사진: 셔터스톡]

[디지털투데이 AI리포터] GPT-4 같은 대규모언어모델(LLM)은 매우 높은 성능을 가지고 있지만, 각 모델이 어떤 사고를 거쳐 응답을 출력하고 있는지는 개발자조차도 파악하지 못하고 있다.

그런데 최근 오픈AI가 GPT-4의 사고를 읽어내는 방법을 개발, GPT-4의 사고를 1600만개의 해석 가능한 패턴으로 분해할 수 있었다고 7일(현지시간) 온라인매체 기가진이 전했다. 이는 인공지능(AI)의 사고 구조를 이해하고 수정 및 평가하는 데 도움이 될 것으로 기대된다.

일반적인 소프트웨어는 인간의 설계를 기반으로 개발되기 때문에 각 기능의 메커니즘을 이해한 후 기능을 수정하거나 안전성을 평가할 수 있다.

반면 AI 개발에서는 '신경망 학습 알고리즘' 자체는 인간이 설계하지만 '신경망 학습'은 자동으로 수행되기 때문에 완성된 신경망의 사고 구조는 인간이 읽어내기가 어렵고, 수정 및 평가도 어렵다.

하지만 2023년 10월, 신경망을 뉴런 단위가 아닌 '특징'(features) 단위로 정리하는 방법이 발표됐다. 신경망을 특징별로 분류하면 해석 가능한 패턴을 찾아낼 수 있어 신경망의 구조를 이해하는 데 도움이 될 것으로 기대되고 있다.

오픈AI는 이를 위해 '스파스 오토 인코더' 개발 방식을 개선하여 GPT-4와 GPT-2 small에 대응 가능하게 만들었다. 특히 GPT-4에 대응하는 스파스 오토 인코더에서는 GPT-4의 1600만 개의 특징을 찾아낼 수 있었다고 하며, 오픈AI는 GPT-4와 GPT-2 small에서 찾아낸 특징과 그에 대응하는 학습 데이터를 공개했다.

다만 이 방법으로도 GPT-4의 동작 전체를 분석하는 것은 불가능하며, 신경망을 이해하는 데는 더 많은 작업이 필요한 것으로 밝혀졌다. 오픈AI는 이를 위해 계속 연구하겠다는 의지를 보였다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>