AI가 만드는 가짜정보·해킹 막는다... 에임인텔리전스의 혁신 기술

-3만개 취약점 패턴으로 AI 안전 지킨다

-94.4% 침투율로 글로벌 AI 기업들도 인정

-AI 기본법 통과로 AI 보안 시장의 수혜 기업으로 주목

-창업 1년 만에 글로벌 AI 기업 진단까지... '보안+윤리' 결합한 솔루션 주목

지난해 11월, AI 챗봇 제미나이가 ‘제발 죽어줘’라는 부적절한 답변을 내놓아 논란이 일었다. 최근에는 반복적으로 우회 질문을 해서 폭력이나 범죄 관련 답변을 이끌어내는 '다중 탈옥' 수법도 횡행하고 있다. 또한 AI가 허위 정보를 만들어내는 '환각'(Hallucination) 현상도 빈번히 발생하고 있으며, AI를 이용한 보이스피싱과 이메일 사기도 급증하고 있다.

이러한 AI 안전 문제를 해결하기 위해 나선 스타트업이 있다. 에임인텔리전스(AIM Intelligence)는 AI 사용자의 악의적인 시도를 원천 차단하는 기술을 보유한 AI 보안 전문 스타트업이다. 에임인텔리전스는 피싱 이메일, 허위 정보, 딥페이크 이미지 제작은 물론, 해킹과 사이버 공격 시도까지 효과적으로 막아낸다.

"AI 기술이 발전할수록 보안의 중요성도 커지고 있습니다. 저희는 AI가 윤리적이고 안전하게 사용될 수 있도록 돕는 것을 목표로 합니다.”

서울 강남구 코엑스 SKT AI Lab for Startups에서 만난 유상윤 에임인텔리전스 대표는 이렇게 회사의 비전을 설명했다. 사명 에임인텔리전스(AIM Intelligence)의 '에임'은 AI와 '조준하다'라는 이중적 의미를 나타내고 있다. 회사 로고의 빨간 점은 정확한 조준점을 상징하며, AI 보안의 취약점을 정밀하게 찾아내 제거하겠다는 의지를 담고 있다.

서울대 전기정보공학과 석사 출신인 유 대표는 AI 윤리를 연구하던 중 가상머신최적화 연구실의 후배와 함께 2024년 초 에임인텔리전스를 창업했다. 창업 이후 짧은 기간 동안 ‘메타 라마 임팩트 이노베이션 어워드’ 수상, 과학기술정보통신부 ‘AI 레드팀 챌린지’ 우승, SK 텔레콤의 ‘AI 스타트업 액셀러레이터 2기’ 선정 등 주목할 만한 성과를 거뒀다. 이러한 성과를 토대로 에임인텔리전스는 매쉬업벤처스로부터 시드 투자를 유치했다. ‘AI 스타트업 액셀러레이터 2기’ 프로그램은 SK텔레콤(대표 유영상)이 하나은행(은행장 이승열)과 함께 AI 스타트업을 육성하기 위해 마련한 프로그램이다. 선정된 기업은 무료 사무공간, 사업 멘토링, 특허, 투자, 홍보 등을 지원받는다.

창업한 지 1년도 안됐지만 에임인텔리전스는 이미 국내 주요 통신사가 에임레드로 자사 AI 서비스를 진단했고 글로벌 AI 기업 앤트로픽(Anthropic)의 클로드(Claude) 모델 진단 프로젝트에도 참여하는 등 그 가치를 인정받고 있다.

■ 혁신적인 ‘공격’과 ‘방어’ 솔루션 개발

에임인텔리전스의 대표 제품은 ‘에임레드’(AIM Red)와 ‘에임가드’(AIM Guard)다. 에임레드는 AI 시스템의 취약점을 자동적으로 찾아내는 진단 도구이다. 기존에는 보안 전문가가가 직접 취약점을 찾아내는 '휴먼 레드팀' 방식을 사용했지만, 에임레드는 이 과정을 자동화하여 효율성을 높였다.

에임레드는 해커의 관점에서 다양한 방식으로 AI 시스템을 시험한다. 예를 들어 직접적인 해킹 코드 요청은 AI가 거부하지만, 특정 상황을 가정한 우회적 요청에는 취약할 수 있다는 점을 활용한다.

“그동안 알려진 취약점 패턴들을 체계화했습니다. AI에 특정 역할과 임무를 부여하여 공격을 시도하고, 사이버공격 코드나 허위 정보 제작 같은 특정 주제와 결합하며 패턴을 발전시킵니다. 커뮤니티와 대회를 통해 계속해서 새로운 패턴을 찾아나가고 있습니다.”

에임인텔리전스는 다양한 공격 패턴과 주제를 만든 후 데이터를 합성하여 (synthetic data generation) 이를 증강하는 방식으로 레드티밍 데이터 생성을 자동화하고 있다. 에임인텔리전스는 현재 3만 개가 넘는 취약점 패턴을 보유하고 있다. 특히 한 번의 질문과 답변만 하는 '싱글턴'(single-turn) 방식을 넘어, 여러 차례 대화를 주고받는 '멀티턴'(multi-turn) 방식의 공격도 수행하고 있다. 멀티턴 방식은 AI가 이전 대화의 맥락을 기억하고 이를 바탕으로 적절한 응답을 생성하는 것이 핵심이다. 최근 AI 모델들은 단순한 공격은 막아내지만, 복잡한 대화 과정에서 취약점을 드러내고 있다.

에임가드는 이러한 취약점을 방어하는 솔루션이다. 에임레드가 취약점을 찾아내는 '공격' 도구라면, 에임가드는 이러한 취약점을 막아내는 '방어' 도구라고 할 수 있다.

에임가드의 핵심은 입력과 출력 단계 모두에서 작동하는 이중 방어 체계라는 점이다. 입력 단계에서는 사용자의 악의적인 시도를 사전에 차단하고 출력 단계에서는 AI의 답변이 적절한지 검토하여 욕설, 개인정보 유출, 저작권 침해 등을 방지한다.

두 제품 모두 뛰어난 성능을 보여준다. 에임레드는 마이크로소프트의 PyRIT(33.3%)보다 높은 94.4%의 침투율을 기록했다. 같은 시간 동안 약 3배 더 많은 취약점을 발견할 수 있다는 의미다. 에임가드는 보호율 90%를 달성한 메타의 라마가드(Llama Guard)를 뛰어넘는 99%의 보호율을 달성했다. 특히 한국어와 한국 문화권의 특수성을 반영한 취약점 진단이 가능하다는 것이 강점이다. 예를 들어 젠더 갈등이나 군대 관련 이슈처럼 한국 사회에서 특히 민감한 주제들에 대한 침투와 보호를 효과적으로 수행할 수 있다.

유 대표는 "전통적인 사이버 보안은 소프트웨어 코드를 분석하지만 AI는 '블랙박스' 같아서 다양한 입력값으로 문제점을 찾아야 합니다. 또한 AI 보안은 윤리적 문제와도 밀접하게 연관되어 있습니다.“라며 AI 보안의 특수성에 대해 설명했다.

유상윤 대표가 에임레드와 에임가드에 대해 설명하고 있다

■ AI기본법으로 AI 보안 중요성 커져

2024년 12월 26일 국회를 통과한 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)으로 AI 보안의 중요성은 더욱 커질 전망이다. 이 법은 EU에 이어 세계에서 두 번째로 제정된 포괄적 AI 규제법으로, AI의 투명성과 안전성 확보를 의무화했다. 이번 법안은 인공지능에 관한 국가 차원의 거버넌스 체계를 정립하고 인공지능 산업을 체계적으로 육성하며, 인공지능의 기술적 한계, 오남용 등으로 인해 발생가능한 문제를 사전에 예방하기 위한 내용으로 구성돼 있다. 법에는 투명성 확보 의무, 안전성 확보 의무, 사업자 책무, 민간 자율적으로 AI 안전성, 신뢰성 검인증, 인공지능 영향 평가에 대한 지원 근거도 함께 포함되어 있다.

유 대표는 한국이 AI 보안 분야에서 다소 뒤처져 있다고 진단하면서 "미국은 AI 보안 산업이 자리잡혀 있고 관련 법과 제도도 마련돼 있습니다. 반면 한국은 이제 막 관심을 갖기 시작했습니다. 최근에 AI 기본법이 통과되면서 AI 보안 산업이 발전할 것으로 보입니다.“라고 설명했다.

■ 안전한 AI 시대를 꿈꾸며

에임인텔리전스는 현재 컨설팅 기반으로 제공하는 서비스를 곧 구독형 SaaS로 확대할 계획이다. 또한 금융, 의료 등 특수 분야별 맞춤형 보안 솔루션도 준비 중이며, 미국 시장 진출도 추진하고 있다.

장기적으로는 생성형 AI를 넘어 로봇, 자율주행차 등 물리적 AI 보안까지 영역을 넓히려 한다. 유 대표는 ”로봇이나 자율주행차처럼 물리적 형태를 가진 AI가 등장하면 안전성이 더욱 중요해질 것"이라며 "그때 꼭 필요한 기업이 되는 것이 저희의 목표"라고 강조했다. 이를 위해 AI 안전성, 보안 연구자, 규제 전문가 등 다양한 분야의 인재를 적극 영입하고 있다.

조광현 객원 스타트업 전문 기자 hyun@venturesquare.net

Copyright ⓒ ATSQUARE.