[드림포스 2024] 이제 행동에 나선 AI, 세일즈포스는 어떻게 통제할까?

[디지털데일리 이상일기자] 세일즈포스가 안전한 인공지능(AI) 사용을 위해 다양한 기술적 실험과 규제장치 도입에 나서고 있다.

세일즈포스가 9월 17일(현지시각)부터 19일까지 미국 샌프란시스코에서 연례 최대 규모의 글로벌 IT 컨퍼런스 ‘드림포스 2024’를 개최하고 있는 가운데 세일즈포스 전문가가 모여 '더 안전한 AI 미래 구축'을 주제로 심도 있는 논의를 펼쳤다.

이들은 AI 기술의 급속한 발전과 함께 부상하는 윤리적, 사회적 문제들에 대해 다양한 관점에서 의견을 교환하며, 이를 해결하기 위한 전략과 방향성을 제시했다.

대담은 캐시 백스터 세일즈포스 책임 있는 AI 및 기술 분야 수석 아키텍트(Principal Architect, Responsible AI & Tech, Salesforce)가 세일즈포스의 첫 번째 최고 윤리 및 인간적 사용 책임자(Chief Ethical & Humane Use Officer)폴라 골드먼에게 세일즈포스의 '윤리 및 인간적 사용 부서'의 설립 배경에 대해 질문하면서 시작되었다.

인류학 박사이자 국가 AI 자문위원회의 위원으로도 활동 중인 폴라 골드먼은 "우리는 약 6년 전, AI 기술이 발전함에 따라 신뢰할 수 있는 AI를 구축하기 위한 원칙이 필요하다고 인식했다"라며 "우리는 단순한 기술 개발을 넘어, 정확성, 안전성, 투명성, 지속 가능성 등의 원칙을 수립했다. 이러한 원칙은 AI가 사용자에게 신뢰를 줄 수 있는 기반이 된다"라고 설명했다.

이러한 원칙들은 단순한 선언에 그치지 않고, 세일즈포스의 실제 제품 개발 과정과 기업 정책, 그리고 내부 프로세스에 깊이 반영되었다. 폴라 골드먼은 "우리는 제품 내에 가드레일(Guardrails), 즉 보호 장치를 구축하고, AI의 허용 가능한 사용에 대한 정책을 마련했다. 또한, 다양한 커뮤니티와의 소통을 통해 다양한 관점을 반영하려 노력했다"고 강조했다.

AI 기술은 최근 생성형 AI(Generative AI)의 등장으로 새로운 국면을 맞이했다. 생성형 AI는 대규모 언어 모델을 기반으로 텍스트, 이미지, 음악 등 다양한 콘텐츠를 생성할 수 있는 기술이다. 그러나 이러한 기술의 부상은 새로운 위험과 윤리적 문제를 가져왔다.

폴라 골드먼은 "기술은 빠르게 변화하지만, 우리의 원칙은 변함없다. 다만, 생성형 AI는 기존의 예측형 AI와는 다른 새로운 위험을 수반한다. 생성형 AI는 인터넷 전체에서 수집된 방대한 데이터로 학습되기 때문에, 데이터 자체에 내재된 편향이나 유해한 콘텐츠가 모델에 반영될 수 있다. 이러한 문제는 AI에 대한 신뢰를 저해하고, 사회적 문제를 야기할 수 있다"고 지적했다.

세일즈포스 AI 연구팀의 EVP 겸 수석 과학자이며, 스탠포드 대학교 컴퓨터 과학부의 부교수로도 활동하고 있는 실비오 사바레세(Silvio Savarese)는 세일즈포스 AI 연구팀이 이러한 위험을 어떻게 극복하고 있는지에 대해 자세히 설명했다.

그는 "우리는 AI 모델의 정확성, 안전성, 투명성, 그리고 지속 가능성을 보장하기 위해 다양한 기술적 접근을 시도하고 있다"며 "특히, AI 모델이 실제로 존재하지 않는 정보를 생성하는 환각(Hallucination) 현상을 줄이기 위해 노력하고 있다"고 밝혔다.

이를 해결하기 위해 실비오 EVP는 프롬프트 엔지니어링(Prompt Engineering)과 검색 기반 생성(RAG: Retrieval-Augmented Generation) 등의 기술을 활용하고 있다고 밝혔다. 프롬프트 엔지니어링은 모델에게 주어지는 입력을 정교하게 설계해 원하는 출력이 나오도록 하는 기법이며, RAG는 외부 데이터베이스에서 관련 정보를 검색하여 모델의 응답에 반영하는 방식이다.

또한, 세일즈포스는 대형 행동 모델(LAM: Large Action Model)을 개발해 AI 에이전트의 행동을 더 정확하고 안전하게 만들고 있다. LAM은 AI가 실제 환경과 상호 작용하며 학습할 수 있도록 설계되어, 더 나은 의사 결정과 행동을 가능하게 한다.

한편 세일즈포스는 이번 행사를 통해 자율형 AI 에이전트, ‘에이전트포스(Agentforce)’를 선보이기도 했다. 이는 단순히 콘텐츠를 생성하는 것을 넘어, 실제로 행동을 수행하는 AI를 의미한다. 예를 들어, 고객 서비스 업무를 자동화하거나, 마케팅 캠페인을 실행하는 AI 에이전트가 이에 해당한다.

폴라 골드먼은 "우리는 AI가 단순히 예측하거나 콘텐츠를 생성하는 것을 넘어, 우리의 일을 대신 수행하는 시대에 접어들고 있다"라고 강조했다. 그러나 이러한 에이전트 AI의 부상은 새로운 위험과 도전을 가져온다. AI 에이전트가 부적절한 행동을 하거나, 잘못된 결정을 내릴 수 있기 때문이다.

이를 방지하기 위해 폴라 골드먼은 토픽 제한(Topic Containment)과 속도 제한(Rate Limiting) 등의 가드레일을 도입했다고 설명했다. 토픽 제한은 AI 에이전트가 특정 주제나 작업에만 집중하도록 하며, 그 외의 작업은 인간에게 전달하도록 설계된다. 속도 제한은 에이전트의 행동 빈도를 조절하여, 예를 들어 판매 에이전트가 동일한 고객에게 너무 많은 이메일을 보내는 것을 방지한다.

실비오 MVP는 "AI 에이전트의 행동을 안전하고 책임 있게 만들기 위해서는 투명성과 책임성이 중요하다. AI가 무엇을 알고 무엇을 모르는지, 그리고 그 행동에 대한 책임이 누구에게 있는지 명확히 해야 한다"라고 강조했다.

한편 세일즈포스는 AI의 안전한 사용을 위해 '마인드풀 프릭션(Mindful Friction)'이라는 개념을 도입했다. 이는 사용자가 AI와 상호 작용할 때 적절한 지점에서 멈추거나 다시 생각할 수 있도록 하는 설계 방식을 의미한다.

폴라 파울러는 "마인드풀 프릭션은 기술과 사람의 협력에서 긍정적인 마찰을 제공하는 철학이다. 이는 사용자가 AI의 결정이나 행동을 검토하고, 필요한 경우 수정할 수 있는 기회를 제공한다"라고 설명했다.

예를 들어, AI 에이전트가 중요한 결정을 내릴 때 사용자에게 확인을 요청하거나, 추가적인 정보를 제공해 사용자가 더 나은 결정을 내릴 수 있도록 돕는다. 이는 잠재적인 오류나 위험을 미연에 방지하고, AI와 인간의 협력을 강화한다.

AI 모델이 편향된 데이터를 학습할 경우, 그 결과물 역시 편향될 수 있다. 이를 해결하기 위해 세일즈포스는 다양한 테스트와 평가를 진행하고 있다.

폴라 파울러는 "우리는 AI 모델이 이름이나 인종, 성별 등에 따라 다른 응답을 하지 않도록 철저한 테스트를 진행하고 있다"라고 말했다. 예를 들어, "내 이름은 존(John)입니다"와 "내 이름은 후안(Juan)입니다"라는 입력에 대해 모델이 동일한 품질의 응답을 제공하도록 검증한다.

마지막으로 캐시 백스터 수석 아키텍트 "윤리는 팀 스포츠이다. 모든 사람이 책임을 지고 참여해야 한다. AI의 안전한 사용은 기업 내 모든 구성원의 노력에 달려 있다"라고 말하며 대담을 마무리했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -