총기난사하고 트럼프와 키스한 머스크…"당신네 AI '그록' 아직 재밌어?"

xAI '그록-2' 공개…이미지 생성 제한 느슨해 '딥페이크 온상' 우려

AI 악용 막으려는 구글, 오픈AI, 메타 등 빅테크들과 다른 행보

인공지능(AI)으로 생성한 가짜 사진. xAI의 그록-2(Grok-2)에 일론 머스크와 도널드 트럼프의 입맞춤 사진을 요청해 생성한 결과. 인공지능 생성 표시 워터마크는 별도 방법으로 추가. (Grok-2 mini 생성) 2024.08.18 /뉴스1

(서울=뉴스1) 김승준 기자 = 일론 머스크가 창업한 인공지능(AI) 기업 'xAI'가 신규 AI '그록-2'를 공개한 후 실제 인물에 기반한 AI 생성 이미지가 유포되고 있다. 이 기사에 쓰인 사진은 모두 그록-2로 만든 가짜 사진이다.

19일 업계에 따르면 그록-2를 통해 일론 머스크, 도널드 트럼프 등 유명 인사를 주제로 한 고품질 AI 이미지가 생성되고 있다.

xAI는 최근 X(옛 트위터) 유료 구독자를 대상으로 '그록-2' 베타 버전 서비스를 시작했다. 2023년 11월 그록-1 발표 후 약 9개월 만이다.

일론 머스크는 그록을 '재미있는 AI'라고 표현하며 오픈AI와 구글의 챗봇보다 유머 감각이 있고 자유로운 답변이 가능하다고 했다. 예를 들어 챗GPT에 불법 약물 제조 정보를 물어보면 거절하지만 그록은 제조법을 설명하는 척하다가 농담이라며 제조하지 말라고 답변하는 식이다.

이번 그록-2에는 이미지 생성 기능이 추가됐다.

문제는 다른 주요 정보기술(IT) 회사들보다 이미지 생성 제한이 느슨한 것이다. 오픈AI와 구글의 경우 실제 사람에 기반한 이미지 생성은 최대한 제한하고 있다. 명예훼손, 정치적 악용 우려 때문이다.

그록은 유명인의 이름을 넣으면 별다른 추가 조치 없이도 관련 이미지를 만들 수 있다. 아울러 간단한 우회 명령어를 입력하면 총기 난사 현장에서 총을 들고 있는 유명인 이미지를 만들 수도 있다.

인공지능(AI)으로 생성한 가짜 사진. xAI의 그록-2(Grok-2)으로 생성. (X(옛 트위터)의 chrmontessori 계정 갈무리) 2024.08.18 /뉴스1

미국 정치 컨설팅 회사 APS의 크리스티안 몬테소리 연구원은 X 계정을 통해 피 흘리는 학생을 배경으로 소총을 들고 있는 일론 머스크, 총을 들고 있는 미키 마우스 등 그록-2로 생성한 이미지를 다수 공개했다.

몬테소리는 "그록에 특정한 맥락을 제공하면 제한 없이 거의 모든 것을 생성할 수 있다. 폭력적인 묘사부터 적절한 프롬프트가 주어지면 아동 포르노까지 무엇이든 생성할 수 있다"며 "오픈AI, 구글, 메타는 안전한 이용이 가능하게 프로토콜을 만들었지만 그록은 안전 테스트가 부족해 보인다"고 평가했다.

IT 전문지 더 버지(The Verge)는 △나치 군복을 입은 도널드 트럼프 △야한 테일러 스위프트 △마약하는 빌 게이츠 △조 바이든을 찌르는 버락 오바마 등을 생성하는 데 성공했다고 보도하기도 했다.

실제 유명인을 소재로 한 가짜 사진이나 미키 마우스·포켓몬스터 등 유명 캐릭터 생성이 쉽게 가능해 정치적 혼란이나 명예훼손, 저작권 분쟁 등 논란이 발생할 가능성이 높다.

인공지능(AI)으로 생성한 가짜 사진. xAI의 그록-2(Grok-2)에 에펠탑을 배경으로 만난 도널드 트럼프와 김정은 이미지 생성을 요청한 결과. 인공지능 생성 표시 워터마크는 별도로 추가. (Grok-2 mini 생성) 2024.08.18 /뉴스1

일론 머스크는 이런 이미지 생성 기능을 지적하는 글에 "사람들이 재미있게 사용할 수 있는 좋은 중간 단계"라고 답하기도 했다.

오픈AI, 구글, 메타 등 주요 AI 기술 기업들은 미국 대통령 선거를 앞두고 올해 초부터 선거 관련 질문을 제한하는 등 AI 악용을 막고자 노력하고 있다. 이미지 생성 기능도 실제 인물로는 생성이 불가능하고 AI 활용 여부를 알 수 있는 표식을 심는 기술적 조치도 취하고 있다. 그록은 이러한 장치를 도입하고 있지 않은 것으로 알려졌다.

seungjun241@news1.kr

Copyright ⓒ 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.