‘챗GPT·그록’ 지나치게 ‘깨어있는’ AI 챗봇 테스트 결과는?

[AI요약] 챗GPT와 그록 등 인기있는 AI챗봇들은 민감한 정치적 비판, 시민권 및 시위 관련 질문 등 민감하고 논란의 여지가 있는 주제를 어떻게 처리하고 있을까. 흥미로운 테스트 결과에 따르면, 오픈AI의 최신 모델들은 시간이 지남에 따라 정치적으로 민감한 문제에 대한 허용범위가 줄었지만, xAI는 오히려 그러한 질문에 기꺼이 대답하는 모델을 선보이고 있다.

ⓒTech42

AI 챗봇의 정치적 답변을 평가하는 AI가 등장했다.

AI 챗봇이 논란의 여지가 있는 주제에 대해 어떻게 반응하는지에 대한 테스트 결과에 대해 테크크런치 등 외신이 16일(현지시간) 보도했다.

익명의 한 개발자가 오픈AI의 챗GPT(ChatGPT)와 X의 그록(Grok)과 같은 챗봇을 구동하는 AI 모델을 위한 ‘언론의 자유 평가’인 스피치맵(SpeechMap)을 공개했다. 해당 테스트의 목표는 다양한 AI모델이 정치적 비판, 시민권 및 시위 관련 질문 등 민감하고 논란의 여지가 있는 주제를 어떻게 처리하는지 비교하는 것이다.

최근 일부 미국 정치권에서 인기 챗봇들이 지나치게 ‘깨어있다’고 비판하는 목소리가 커지고 있는 가운데, AI 기업들은 특정 주제를 처리하는 방식을 미세 조정하는 데 집중해 왔다. 여기서 미국 정치권이 말하는 ‘깨어있다’는 의미는 좌파적인 성향을 뜻한다.

현재 백악관에서 AI와 암호화폐 정책을 총괄하는 차르(czar) 직책의 데이비드 삭스와 정부효율부의 일론 머스크 등 도널드 트럼프 미국 대통령의 최측근들은 챗봇이 보수적인 견해를 검열한다고 주장하고 있다.

이러한 주장에 대해 AI 기업들은 직접적인 답변을 피했지만, 몇몇 기업은 논쟁의 여지가 있는 질문에 챗봇이 답변하는 빈도를 줄이도록 모델을 조정할 것이라는 계획을 밝히기도 했다. 예를 들어, 메타는 최신 라마(Llama) 모델에 대해 특정 견해를 다른 견해보다 우선시하지 않고, 더 논란의 여지가 있는 정치적 질문에 응답하도록 모델을 조정했다고 밝혔다.

이러한 가운데 등장한 스피치맵은 AI 모델이 무엇을 해야 하고 무엇을 하지 말아야 하는지에 대한 논쟁을 조율하기 위한 도구다.

스피치맵은 AI 모델을 사용해 다른 모델이 주어진 테스트 질문을 준수하는지 판단한다. 테스트 질문들은 정치부터 역사적 서사, 국가적 상징에 이르기까지 다양한 주제를 다루는데, AI 챗봇이 질문을 회피하지 않고 답변하는지, 또는 회피적인 답변을 하는지, 아니면 답변을 완전히 거부하는지를 평가한다.

개발자는 다만 AI모델 제공업체의 오류로 인한 ‘노이즈’와 같은 테스트 결함과 판단 모델에도 결과에 영향을 미칠 수 있는 편향이 포함될 가능성을 인정했다. 그러나 이 프로젝트가 선의로 개발됐고 데이터가 정확하다고 가정한다면 스피치맵은 몇 가지 흥미로운 결과를 보여준다.

스피치맵에 따르면 오픈AI의 모델은 시간이 지남에 따라 정치 관련 질문에 대한 답변을 거부하는 경향이 점차 커지고 있다. 오픈AI의 최신 모델인 GPT-4.1 제품군은 정치 관련 질문에 대한 응답 허용범위가 약간 더 넓어졌지만, 작년에 출시된 오픈AI 모델 중 하나보다는 여전히 한 단계 낮은 수준이다.

오픈AI는 지난 2월 향후 모델을 조정해 편집자적 입장을 취하지 않고 논란의 여지가 있는 주제에 대한 다양한 관점을 제공하도록 할 것이라고 밝히기도 했다. 이는 모델을 더욱 ‘중립적’으로 보이게 하기 위한 노력이다.

ⓒTech42

스피치맵에 따르면, AI챗봇 모델 중 가장 정치적으로 가장 허용범위가 큰 모델은 일론 머스크의 AI 스타트업 xAI가 개발한 그록3다. 그록3는 챗봇 그록을 포함한 X의 여러 기능을 지원하고 있다. 그록3는 스피치맵 테스트 프롬프트의 96.2%에 응답하는데, 이는 전 세계 평균 준수율 71.3%보다 높은 수준이다.

오픈AI의 최신 모델들은 시간이 지남에 따라 정치적으로 민감한 문제에 대한 허용범위가 줄었지만, xAI는 반대 방향으로 나아가고 있다는 의미다.

실제로 머스크는 2년전 그록을 발표하면서 해당 챗봇이 과감하고 여과되지 않았으며 ‘깨어있음’에 반대하는 모델이라고 강조했다. 즉, 다른 AI 시스템에서는 대답하지 않는 논란의 여지가 있는 질문에 기꺼이 대답할 의향이 있다는 것이다.

그러나 그록3 이전의 그록 모델은 정치적 주제에 대해 회피적이었고 특정 경계를 넘지 않았었다. 실제로 한 연구에 따르면 그록은 트랜스젠더 권리, 다양성 프로그램, 불평등과 같은 주제에 대해 정치적으로 좌파적인 성향을 보인 것으로 분석됐다.

이러한 연구 결과에 대해 머스크는 그록의 훈련 데이터, 즉 공개 웹페이지를 그 원인으로 꼽으면서 그록을 ‘정치적 중립’에 더 가깝게 개발할 것을 공언해왔다. 트럼프 대통령과 머스크 본인에 대한 부정적인 언급을 검열하는 것과 같은 결과로 그의 ‘목표’는 달성한 것으로 보인다.

스피치맵을 개발한 익명의 개발자는 “이러한 종류의 토론은 기업 본사 내부뿐 아니라 공개적으로 이루어져야 한다고 생각한다”며 “그래서 누구나 직접 데이터를 탐색할 수 있도록 사이트를 구축했다”고 언론을 통해 밝혔다.

류정민 기자

저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지