AI 비용 줄이는 ‘경량화’ 기술 선도… 엔비디아도 반했다

[딥테크 인사이드] [1] AI 경량화 스타트업 ‘노타’

인공지능(AI)·자율주행 등의 등장으로 산업의 패러다임이 바뀌면서 전 세계적으로 특정 기술을 깊게 파고드는 ‘딥 테크(deep tech)’ 스타트업이 등장하고 있다. 이들이 빅테크를 떠받치며 탄탄한 산업 생태계를 구축하고 있다. 하지만 한국은 기술 스타트업이 허약하다. 국내에서 오직 기술로 승부하는 실력 있는 스타트업을 발굴해 소개한다.

지난해 국내 한 중소 보안 업체는 안면 인식 기능에 AI를 장착한 서비스를 개발 중이었다. 성능을 위해 글로벌 빅테크가 개발한 AI 모델을 쓰고 싶었다. 하지만 보유하고 있는 기존 장비로는 이를 구동할 수 없고, 비용도 너무 높았다. 결국 이 보안 업체가 손을 내민 곳은 AI 경량화 전문 기업인 노타였다. 노타의 핵심 기술은 AI 수요자가 요구하는 기능에 맞춰, AI 모델에서 덜 중요한 파라미터(매개변수)를 줄이거나 압축해 구형 AI 반도체도 최신 기술을 접할 수 있게 하는 것이다. 가령 옛 전자 기기에 안면 인식 기능을 더하고자 한다면, AI 모델에서 무관한 영역을 잘라내고 변환해 중소 스타트업들이 구형 반도체로도 감당할 수 있는 수준으로 만든다. 노타의 채명수(35) 대표는 “우리는 반도체와 인공지능의 가교(架橋) 역할을 하는 회사”라고 말했다. 고객사를 위한 맞춤형 AI 모델과 반도체를 개발하기 위해 엔비디아·ARM 등과도 협업하고 있다.

인공지능 경량화·최적화 전문 스타트업인 노타의 채명수 대표가 지난달 21일 서울 강남구 본사의 협력사 제품 전시 공간에서 포즈를 취하고 있다. /장련성 기자

◇엔비디아·ARM과 협력 관계

노타 같은 AI 경량화·최적화 기술이 주목받는 것은 ‘AI 모델의 수익화’를 위한 핵심으로 꼽히기 때문이다. AI 반도체가 연구를 거쳐 양산되기까지는 1년 남짓 걸린다. 하지만 AI 모델에 관한 새 소식은 하루가 멀다 하고 쏟아진다. 하드웨어가 소프트웨어 변화를 따라가지 못하는 상황이 발생하는 것이다. 고객에게 ‘늘 최신 기술을 만날 수 있다’고 홍보하고 싶은 테크 기업들에 이 같은 ‘지체’ 현상은 풀어야 할 숙제다. 채 대표는 “경량화·최적화는 학계에서 수년 전부터 주목한, 향후 반드시 필요한 기술이다. 하드웨어가 꾸준히 기능하도록 만드는 ‘윤활유’ 역할을 하는 것”이라고 했다.

각 반도체의 특성이나 사용처에 따라 다르지만, 노타는 보통 AI 모델 크기를 15% 수준까지 줄이고 전력 소모는 60% 수준까지 떨어뜨린다. 하지만 AI 모델이 내놓는 해법의 오차는 0.1% 수준으로 미미하다. 고객은 하드웨어를 교체하거나 서버를 유지하는 데 드는 비용을 절약할 수 있으며, 최근 고민거리인 AI 전력 소모 걱정도 덜 수 있다. ‘저비용·고성능’이 노타가 제공하는 서비스 ‘넷츠프레소’의 장점이다.

노타의 기술력은 글로벌 무대에서 인정받고 있다. 글로벌 시장조사 업체 CB인사이츠가 올해 발표한 ‘AI 최적화 부문 대표 기업’에 국내 업체로는 유일하게 이름을 올렸다. 삼성, LG, 네이버, 카카오그룹이 모두 투자한 첫 기업이기도 하다. 최근 300억원 규모의 추가 투자를 받는 등 그간 532억원을 유치했다. 엔비디아가 주최하는 기술 콘퍼런스의 발표 기업으로 3년 연속 선정됐다.

회사는 본격적으로 수익 창출에 속도를 내고 있다. 공식 제품 출시 전인 2021년까지는 매출이 연 4억~5억원에 그쳤으나, ‘넷츠프레소’가 출시된 2022년 매출 약 20억원을 기록한 데 이어 작년 45억원, 올 상반기에만 46억원으로 뛰었다. 꾸준히 전년 대비 2배 이상 성장하는 중이다. 회사는 올해 매출을 120억원까지 내다보고 있다.

그래픽=양인성

◇“8년간 다양한 반도체 다뤘다”

노타는 원래 오타 보정용 애플리케이션을 만드는 회사였다. 하지만 기존 아이템으로는 수익 경로가 마땅치 않아 이내 아이템 전환 고민에 들어갔다. 2016년, 인공지능 프로그램 알파고와 바둑 기사 이세돌의 대결이 화제를 모으며 일반인들도 속속 AI에 관심을 가지기 시작했다. 당시 알파고가 대국 한 번에 소모한 전력은 가정집 100가구의 하루 전력 소모량과 맞먹었기 때문이다. 노타 팀도 AI 모델을 작게 만드는 기술에 주목하고 약 2년에 걸쳐 사업 아이템을 전환했다. 2018년 합류한 채 대표가 CEO(최고경영자)를 맡고, 김태호 창업자가 CTO(최고기술책임자)를 맡아 지금까지 이어오고 있다. 둘은 카이스트 인공지능연구소에서 한솥밥을 먹은 연구 동료다. 채 대표는 “내가 방향성을 잡고 추진하는 스타일이라면 김 CTO는 꼼꼼하게 챙기는 스타일이다. 서로 성향이 정반대인데 그래서 오히려 보완 관계”라며 웃었다.

채 대표는 전문연구요원으로 군역을 마친 후 해외 유학을 준비하고 있었다. 그때 김 CTO가 전문연구요원으로 떠나며 노타를 채 대표에게 맡겼다. 채 대표는 “‘이게 바로 사람들에게 실질적으로 도움을 주는 미래 기술이겠구나’라는 생각이 들었다. 그 길로 스타트업의 길을 걷고 있다”고 했다.

AI 모델 경량화·최적화는 학계에서 전부터 주목하던 영역이라 이를 다루는 업체도 속속 등장하고 있다. 노타는 7~8년 동안 다양한 반도체를 다루며 연구해, 노하우 측면에서 자신감이 있다는 입장이다. 채 대표는 “우리 같은 업체가 많이 생겨 시장 규모가 커지는 게 오히려 낫다”며 자신감을 보였다.

☞인공지능(AI) 경량화·최적화

오픈AI·구글 등 빅테크가 개발한 거대 AI 모델은 도입과 운영에 큰 비용이 든다. 이 부담을 줄이기 위해 사용자와 기기에 맞게 AI 모델의 매개변수를 줄여 효율적으로 가동될 수 있도록 AI 모델을 변환하는 것이 AI 경량화·최적화 기술이다.

[김민기 기자]

- Copyrights ⓒ 조선일보 & chosun.com, 무단 전재 및 재배포 금지 -