김기정 콕스웨이브 대표, 구글 미디어앳 연사 참가...'AI 안전성 확보 방안' 발표

[디지털데일리 이건한 기자] AI 제품 분석 플랫폼 얼라인 AI(Align AI)의 운영사 콕스웨이브 김기정 대표가 27일 포시즌스 호텔 서울에서 개최된 구글 '리서치앳(Research@) 코리아'에 연사로 참가했다고 28일 밝혔다.

리서치앳 코리아는 전세계 연구자들을 대상으로 AI 관련 최신 연구를 공유하는 행사다. 김경훈 구글 코리아 사장, 구글 리서치 마야 쿨리키 부사장이 참여했으며, 다수의 구글 AI 연구원이 참여하여 노트북 LLM, 제미나이, AI에이전트 프로젝트 등 연구사례를 발표했다. 올해 행사는 '코리아스타트업포럼'과의 협업을 통해 학계 연구자 뿐만 아니라 AI 스타트업의 연구원 및 개발자까지 초청 규모가 확대됐다.

김기정 콕스웨이브 대표는 국내 AI 연구사례 세션에 스타트업 대표로 참가하여 'AI 안정성 향상'을 주제로 발표를 진행했다. 구체적으로는 ▲환각, 편견 및 차별, 정보 유출 등 현재 AI 시스템이 직면한 주요 위험 ▲현재 가장 많이 나타나는 AI 시스템 악용사례 ▲AI 모델의 취약성 평가 방법 등을 공유하고 향후 연구 방향을 제안했다.

특히 자사의 얼라인 AI 플랫폼 내 발생한 실사례를 기반으로 AI 모델의 취약성 평가 및 잠재 위협 예방 방법을 공유하기도 했다. 얼라인 AI는 생성형 AI 기반 대화형 제품을 위한 분석 플랫폼이다. AI와 사용자 간의 대화 데이터 분석, AI 환각 발생 여부, 개인정보 유출 사례 없이 기능이 수행되는지 판단하는 기능들을 제공한다.

김 대표는 "AI 모델에 대규모 탈옥 프롬프트를 선적용하여 MARS(다중 샷 공격 저항 점수, Many-Shot Attack Resistance Score)를 측정하고, 해당 점수를 기반으로 AI 모델의 취약성을 판단해 잠재 위협을 대비할 수 있다고 설명했다.

콕스웨이브는 2021년 설립된 스타트업으로 생성형 AI 기술의 활용성 및 접근성을 높이기 위한 다양한 AI-네이티브 제품들을 선보이고 있다. 현재 콕스웨이브가 주력하고 있는 얼라인 AI는 기술력과 시장 가능성을 인정받아 지난 1월 투자 혹한기에도 약 45억 원 규모의 시드 투자를 유치한 바 있다. 또 지난달 얼라인 AI의 대화 데이터 분석 및 인사이트 제공 기능을 인도의 AI 기업 펀다멘토의 AICC 서비스에 접목하는 등 회사는 최근 인도 및 글로벌 시장 내 GTM(Go-To-Market) 전략도 적극 추진 중이다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -