[IT백과] 신뢰 기반 인공지능의 지침서, 'AI-BOM'

정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리의 'IT백과'를 참고하세요. <편집자주>

[디지털데일리 김보민기자] 지난 5월, 캐나다 정부 산하 통신보안기관(CSE) 주도 하에 G7 사이버보안 워킹그룹 회의가 열렸다. 이들 국가는 과거와 비교할 수 없을 정도로 사이버 공간의 과제가 증가하고 있고, 이를 해결하기 위해 협력이 필요하다는 데 공감대를 표했다.

특히 주목한 키워드는 인공지능(AI)이었다. 현장에서는 AI 기술 발전으로 긍정적인 영향도 있지만, 동시에 새로운 사이버 위협에 대응해야 할 과제 또한 커졌다는 의견이 제시됐다. 그 일환으로 올 하반기 2차 회의까지 공동 비전을 구상하기로 했는데, 그중 하나가 바로 AI 소프트웨어자재명세서(SBOM)다.

SBOM은 개발 과정에서 외부 오픈소스 등을 통해 유입될 수 있는 보안 위협과 라이선스 문제를 관리하는 일종의 자재명세서다. 제조업에서 활용하는 '부품표(BOM)'를 착안한 용어로, 특정 제품에 탑재된 소프트웨어 내역을 의무적으로 공개해야 하거나 시스템 장애 등 보안 위협이 발생했을 때 원인 파악을 원활하게 할 수 있는 도구로 여겨지고 있다.

'AI-BOM(인공지능 자재명세서)'은 SBOM 개념을 AI 영역으로 확장한 용어다. 기업은 AI-BOM을 기반으로 제품과 서비스를 비롯해 내부에서 사용하는 AI 모델이 어떤 구성 요소, 데이터셋, 알고리즘, 프레임워크, 라이선스 등을 포함하고 있는지 식별하고 이를 문서화할 수 있다.

보안업계에서는 AI의 투명성, 신뢰성, 위협 관리를 강화하기 위해 AI-BOM이 촉진제가 될 수 있을 것으로 보고 있다. 클라우드 보안기업 위즈는 "AI-BOM은 단순히 있으면 좋은 것이 아니라, AI 시스템을 안전하게 보호하고 관리하기 위한 필수 요소"라며 "AI 자산에 대한 체계적인 가시성을 제공한다면, 오래된 라이브러리와 데이터셋 취약점 등 생애주기 전반에 걸쳐 위험을 관리하고 사고를 대응할 수 있을 것"이라고 전망했다.

AI 보안에 대한 중요성은 미국을 비롯해 보안 선두국가에서도 강조되고 있다. 최근 미국 사이버보안 및 인프라보안국(CISA)은 일부 웹크롤링 기반 AI 데이터셋이 만료된 인터넷주소(URL)와 매각된 도메인을 다루는 경우가 많아 공격자가 이를 구매해 악성데이터로 악용할 가능성이 있다고 경고한 바 있다. 이를 '스플릿 뷰 포이즈닝(Split View Poisoning)이라고 칭하기도 했다.

AI 기술 자체의 '예측 불가능한 위험성'을 주목하는 목소리도 있다. AI 보안기업 노마시큐리티는 "기존 소프트웨어 시스템이 예측 가능한 코드 경로를 따른다면, AI 시스템은 비결정적(Non-Deterministic)"이라며 "AI 시스템은 높은 수준의 자율성을 가지고 작동하고, 명시적인 프로그램 명령이 아닌 방대한 데이터셋에서 학습한 패턴을 기반으로 결정을 내린다는 특징이 있다"고 설명했다. 이어 "이러한 특성은 동일한 입력이 때때로 다른 출력을 생성할 수 있다는 점을 의미하고, AI 행동을 예측하기 어려워 그만큼 조직이 예상하지 못한 위험에 노출될 가능성이 있다"고 말했다.

AI-BOM을 통해 이러한 위험 요소를 일부 해소할 수 있다는 취지다. 보안 전문가들은 특히 주요국에서 AI 활용에 대한 기준을 높이고 있는 만큼, AI-BOM이 기반이 될 수 있을 것으로 보고 있다.

대표적인 기준으로는 유럽연합(EU) AI법이 있다. 고위험 AI 시스템을 구축하는 조직은 기술 문서를 마련해야 하는데, 여기에는 AI 시스템의 목적·설계 사양·데이터 출처·교육 방법론·성과 지표·위험관리 전략에 대한 요구사항을 충족해야 한다. AI 관리 시스템에 대한 국제 표준 또한, AI 생애주기에 걸쳐 시스템 설계·개발 과정·데이터 처리 절차·영향 평가를 문서화하도록 요구하고 있다. AI-BOM이 규정 준수와 더불어 신뢰성, 투명성 확보에 필요한 도구가 될 수 있다는 의미다.

AI-BOM의 형태는 다양하지만 통상적으로 ▲모델 매핑에 대한 응용 프로그램 ▲모델 사양 ▲교육 데이터 소스 ▲모델 카드 메타데이터 ▲종속성 및 도구 등 다섯가지 요소가 필요하다는 것이 중론이다. 사용하는 애플리케이션이 어떤 AI 모델에 기반해 탄생했는지를 문서화하고, 모델 업데이트에 대한 아키텍처 및 구성 등 세부 정보를 나열하는 것이 핵심이다. 아울러 사용된 모든 라이브러리, 프레임워크, 인프라를 기재해 AI 시스템의 기술 스택과 공급망 가시성을 강화하는 것도 중요 요소로 꼽힌다.

한편 국내에서는 새 정부 맞이 AI 발전에 대한 논의가 빨라지고 있는 만큼, AI-BOM 중요성을 이야기하려는 학계 움직임이 빨라질 전망이다. SBOM의 경우 정부가 가이드라인을 배포하며 움직임에 나섰지만, 민간 인식이 이를 따라잡지 못해 발전 속도가 더딘 상황이다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -