컨텐츠로 건너뛰기
검색
디지털데일리 언론사 이미지

“AI의 환각, 이제는 변명 안돼”…구글 수석개발자, 개발의 책임을 다시 묻다

디지털데일리 이상일 기자
원문보기

“AI의 환각, 이제는 변명 안돼”…구글 수석개발자, 개발의 책임을 다시 묻다

속보
정청래 "내란전담재판부법, 위헌 시비 최소화"
[SAP테크에드 2025] "SAP와 GCP간 협력 유기적으로 움직여"

[베를린(독일)=디지털데일리 이상일기자] “AI가 환각을 일으켰다고 말하는 건 이제 더 이상 변명이 될 수 없습니다. 그건 모델의 문제가 아니라, 우리가 거버넌스와 안전장치를 설계하지 않은 책임의 문제죠.” 구글 클라우드에서 개발자 경험(Developer Experience) 조직을 이끄는 케이시 웨스트(Casey West)는 ‘자율성의 시대에 맞는 엔지니어링’을 강조했다.

25년 경력의 소프트웨어 엔지니어인 그는 최근 ‘에이전틱 선언문(Agentic Manifesto)’을 발표하며 “결정론적 소프트웨어 시대는 사실상 끝났다”고 못 박았다.

웨스트는 독일 베를린에서 개최된 SAP 테크애드 2025 행사 현장에서 아시아·태평양 지역 기자들과 만나 구글과 SAP의 협력, 에이전틱 선언문의 배경, 그리고 AI와 개발자의 관계에 대해 설명했다. 그는 구글 클라우드 엔지니어링 조직 안의 개발자 어드보케이트 팀을 이끌고 있으며, 이 팀의 역할이 “SAP의 전체 기술 제품군이 구글 클라우드에서 잘 돌아가고, 또 구글 클라우드 서비스와 자연스럽게 통합되도록 돕는 것”이라고 소개했다.

그는 구글의 빅쿼리(BigQuery)와 SAP S/4HANA 같은 양측 핵심 기술을 함께 사용하는 고객이 많고, SAP가 오랜 기간 예측 가능한 데이터 API 등으로 비즈니스 데이터와 애플리케이션을 외부에 노출해 온 덕분에 에이전트·AI 시스템과의 통합도 비교적 수월하다고 평가했다. 그는 “대부분의 에이전트 시스템은 제미나이와 같은 언어모델, 시스템 지침, 그리고 도구(API)로 구성된다”며 “SAP가 제공하는 일관된 API를 에이전트의 도구로 감싸는 작업은 생각보다 자연스럽게 진행된다”고 했다.

이 과정에서 웨스트는 앤트로픽(Anthropic)이 제안한 MCP(Model Context Protocol)나 구글이 개발한 에이전트 간 통신 프로토콜 A to A를 언급했다. SAP 시스템을 MCP로 감싸거나 SAP의 에이전트(Joule 등)를 A to A를 인식하는 에이전트로 노출하면, 다른 에이전트 시스템과 손쉽게 연결할 수 있다는 설명이다. 그는 “특정 클라우드 사업자의 락인보다는 표준과 이동성이 중요하다”며 SAP와 같은 미션 크리티컬 소프트웨어가 하이퍼스케일러들의 오픈 표준 투자와 고객 선택권을 견제하는 역할도 하고 있다고 덧붙였다. 다만 SAP의 인프라 전략 자체에 대한 평가는 “내부 전략을 대신 말하는 것은 적절치 않다”며 선을 그었다.

한편 그는 11월 1일 자신의 블로그를 통해 ‘에이전틱 선언문’을 발표했다. 그는 애자일 선언문(Agile Manifesto)이 전통적인 워터폴 방식에서 벗어나 짧은 피드백 루프와 사용자의 현실에 맞는 개발 문화를 만들어냈듯, 에이전틱 선언문은 “결정론적 코드가 아니라 비결정론적 행동을 어떻게 설계하고 관리할 것인가”를 다루는 새로운 기준이라고 말했다.


전통적인 소프트웨어 개발 생명주기(SDLC)가 코드·기능·이진 테스트·명령·통제에 초점을 맞춰 왔다면, 에이전틱 환경에서는 자율적 개선과 지속적인 조정, 고정된 요구사항이 아닌 동적 목표와 가드레일, 통과·실패를 나누는 테스트가 아닌 행동의 평가와 견고성, 수동적인 관리가 아닌 자동화된 거버넌스를 중심에 두어야 한다는 주장이다.

그는 이를 구체화한 개념이 ‘에이전트 전달 라이프사이클(Agentic Delivery Lifecycle, ADLC)’라고 설명했다. ADLC는 아이디어와 가이드레일 설정, 개발과 권한 부여, 검증과 견고성 확보, 단계적 배포, 모니터링과 튜닝이라는 다섯 단계로 구성되지만, SDLC를 완전히 대체하는 것이 아니라 상위에서 확장하는 모델에 가깝다.

정적 코드를 완성하는 것이 아니라, 동적 행동을 지속적으로 조율하는 과정이라는 점을 강조하며 그는 “AI 프로젝트에서는 처음부터 끝까지 비즈니스 도메인 전문가가 계속 개입해야 한다”고 말했다. 과거에는 비즈니스 부서가 요구사항 문서를 던져주면 엔지니어가 비교적 독립적으로 구현할 수 있었지만, 지금은 “비즈니스의 자연어(영어·독일어·한국어·일본어 등)로 문제를 정의하고, 그 언어로 AI 시스템을 설계하기 때문에 비즈니스 전문가의 지속적인 입력이 없는 팀은 AI 시대에 성공하기 어렵다”고 진단했다.


AI가 개발 방식을 어떻게 바꾸고 있는지 묻자 그는 “충분한 맥락과 정보를 주면 모델이 꽤 괜찮은 코드를 생성한다는 건 분명하다. 하지만 제 경험상 그 코드는 여전히 ‘잘하는 인턴’ 수준”이라고 말했다. 인터넷에서 회자되는 이른바 ‘바이브 코딩’이나 한 번에 애플리케이션 전체를 만드는 과장된 사례와 달리, 엔터프라이즈급 시스템 개발은 여전히 높은 수준의 설계·검증·유지보수 역량을 요구한다고 선을 그었다.

그는 최종 사용자가 SAP 줄(Joule)이나 구글 제미나이(Gemini) 같은 AI 도구로 즉석 질의·응답을 하는 것과, 소프트웨어 엔지니어 팀이 재사용 가능한 서비스와 솔루션을 만드는 것은 “근본적으로 다른 문제”라며, 후자는 여전히 깊은 전문성과 규율을 필요로 한다고 강조했다.

특히 그는 “이제 ‘모델이 환각을 일으켰다’는 말은 AI 솔루션 실패의 변명이 될 수 없다”고 잘라 말했다. 전통적인 개발 세계에서 유닛 테스트, 코드 리뷰, 동료 검토 등이 보호 장치 역할을 해왔다면, 에이전틱 환경에서는 여기에 평가(evaluation)와 가드레일이 추가돼야 한다는 것이다.

AI 시스템이 어떤 상황에서 어떤 응답을 내놓아야 하는지에 대한 기대값을 정의하고, 프롬프트와 컨텍스트 엔지니어링 방식에 명확한 가이드를 세우며, 프롬프트 주입 공격이나 민감 데이터 유출을 막는 보안 계층을 준비해야 한다는 설명이다. 그는 구글이 제공하는 ‘모델 아머(Model Armor)’와 같은 도구를 예로 들며 “도구와 기법은 이미 존재하고, 기업 환경에서 AI를 쓰려면 실제로 구현해야 한다. 그렇기 때문에 ‘환각’ 탓만 하는 것은 무책임하다”고 거듭 강조했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -