또한 이 발언은 경영진 사이에서 생성형 인공지능 코딩 환경이 현실적으로 어떤 모습일지에 대해 진지한 대화를 끌어냈다.
 |
ⓒ Getty Images Bank |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
가먼의 녹음된 발언은 이후 아마존에 의해 확인되었으며, 비즈니스 인사이더가 처음 보도했다.
가먼은 “지금부터 24개월 후 또는 어느 정도 시간이 지나면 -정확히 예측할 수는 없지만- 대부분의 개발자가 코딩을 하지 않을 가능성이 있다”라고 말했다. “우리 각자가 고객이 필요로 하는 것이 무엇인지, 그리고 우리가 실제로 구축하려고 하는 것이 무엇인지에 대해 더 잘 파악해야 한다. 실제로 앉아서 코드를 짜는 것을 넘어 점점 더 많은 일을 하게 될 것이기 때문이다.”
달라진 세상
그러나 인간 프로그래머가 생성한 코드를 관리하는 것과 생성형 AI가 생성한 코드를 관리하는 것은 크게 다를 것이다. SaaS 기업 쿼리팔(QueryPal)의 CEO 데브 내그는 생성형 AI 코딩 작업을 해본 결과, 많은 기업 IT 경영진이 준비가 되어 있지 않다고 말했다.내그는 “AI는 마치 다른 행성에서 온 외계인처럼 수많은 이상한 실수를 저질렀다. 인간 개발자가 하지 않는 방식으로 코드가 잘못 작동한다. 마치 사람처럼 생각하지 않고 이상한 방향으로 가는 외계 지능과도 같다”라고 표현헀다.
내그의 더 큰 우려는 생성형 AI 코딩 메커니즘이 어느 정도는 규칙을 따르겠지만, 규칙을 우회하는 방법을 창의적으로 찾아낼 것이라는 점이다. “AI는 병적으로 시스템을 조작하는 방법을 찾아낼 것이다.”
인간은 여전히 필수
또 다른 프로그래밍 전문가인 애플리케이션 개발 회사 플릿 스튜디오(Fleet Studio)의 CEO 베니 물라는 생성형 AI의 환각이 큰 문제라고 말했다.물라에 따르면 환각이 가득한 소프트웨어에 실행 파일을 직접 제어할 수 있는 권한을 부여해서는 안 되며, 이것이 바로 소프트웨어 엔지니어의 역할이 여전히 중요한 이유다. 환각에 취약한 AI 시스템이 코드 생성이나 의사 결정에 관여할 때, 인간 엔지니어가 이러한 결과물을 검증, 테스트, 모니터링한 후 실행 가능한 프로세스와 상호 작용하거나 제어하도록 허용하는 것이 필수적이라고 말했다.
또한 “엔지니어는 자동화된 테스트, 코드 리뷰, 안전 프로토콜과 같은 엄격한 견제와 균형을 구현해 AI로 인해 발생할 수 있는 잠재적 오류를 포착하고 수정할 책임이 있다. 소프트웨어가 중요한 시스템을 직접 제어하는 고위험 환경에서는 AI의 결과물이 신뢰할 수 있고 안전한지 확인하기 위해 사람의 감독이 핵심적이다. 이러한 안전장치가 없다면 적절한 검증 없이 AI 생성형 소프트웨어를 배포할 경우 치명적인 장애로 이어질 수 있기 때문에 소프트웨어 엔지니어가 개발 및 배포 과정에 적극적으로 참여해야 한다”라고 말했다.
생성형 AI 중심 프로그래밍에는 거의 모든 인간 개발자의 머릿속에 있는 공유 코딩 컨텍스트도 부족하다. 내그는 “공유된 조직적 맥락이 없기 때문에 훨씬 더 많은 오버헤드가 필요하다. 우리는 모든 것을 명시하고 언급하는 데 익숙하지 않다"라고 말하며 컨텍스트 관련 문제가 ‘생성형 AI 코딩에서는 100배로 확대될 것’이라고 예상했다.
새로운 테스트 요구 사항
코딩 감독에서 중요한 부분은 테스트이지만, 내그는 기업이 테스트에 대한 완전히 새로운 접근 방식을 만들어야 한다고 강조한다. 오늘날 대부분의 기업 프로그래밍 팀은 자체 개발 앱을 만드는 것을 신뢰한다. 물론 앱의 기능을 테스트하겠지만, 오늘날에는 백도어나 기타 문제가 되는 요소를 찾기 위한 엄격한 라인별 검사를 포기하는 경우가 많다.내그는 생성형 AI 코딩 환경에서는 “테스트 프로세스가 크게 바뀌어야 하며, 단순한 기능 테스트에서 모든 앱을 자동화된 침투 테스트를 거치는 등 모든 것을 훨씬 더 심층적으로 자동화해야 한다”라고 조언했다.
생성형 AI의 한계
기업 개발 관리자가 받아들여야 할 또 다른 변화는 AI가 프로그래밍 보조 역할을 하는 소규모 코딩 프로젝트에서 생성형 AI에 훨씬 더 많은 코딩 권한을 부여하는 것은 엄청난 도약이라는 점이다.내그는 “AI는 많은 대학 문제 세트를 해결하고 중소 규모의 코드 생성 스니펫을 처리할 수 있지만 복잡한 로직, 대규모 코드 기반, 특히 학습 데이터에 선례가 없는 새로운 문제에는 여전히 어려움을 겪고 있다. 착각과 오류는 여전히 전문가의 엔지니어링 감독과 수정이 필요한 중요한 문제"라고 지적했다. “이러한 도구는 엔지니어링의 대부분을 차지하는 대규모 애플리케이션을 반복하는 것보다 처음부터 빠르게 프로토타입을 제작하는 데 훨씬 더 효과적이다. 대규모 애플리케이션을 구동하는 컨텍스트의 대부분은 실제로 코드 베이스에 전혀 존재하지 않는다.”
여러 권의 AI 프로그래밍 책을 저술한 톰 타울리도 생성형 AI 코딩을 위한 노력이 대부분의 기업을 놀라게 할 것이라는 데 동의했다.
타울리는 “이러한 도구는 기존의 워크플로, 접근 방식, 사고방식의 변화를 의미할 것이다. 사전 교육이 되어 있기 때문에 최신 프레임워크와 라이브러리로 업데이트되지 않는 경우가 많다는 점을 고려해야 한다. 또 다른 문제는 컨텍스트 창이다. 코드 베이스는 방대할 수 있다. 하지만 아무리 정교한 LLM이라도 프롬프트의 방대한 양의 코드 파일을 처리할 수는 없다"라고 말했다. “이러한 도구는 대부분 공개 코드 리포지토리에서 학습된 것이다. 하지만 COBOL과 같이 훈련 데이터 세트에 매우 중요하고 매우 드문 레거시 코드가 많이 있다.”
타울리는 자신의 생성형 AI 코딩 작업에서 비정상적인 코딩 행동을 많이 목격했다고 말했다. 또한 다양한 생성형 AI 코딩 과제에 대해 발표된 보고서를 언급했다.
타울리는 “예를 들어, LLM에게 코드 작성을 요청하면 원하는 작업을 수행하기 위해 프레임워크나 가상의 라이브러리 또는 모듈을 구성하는 경우가 있다”라고 설명하며 LLM이 새로운 프레임워크를 만든 것이 아니라 마치 자신이 만든 것처럼 가장하지만 실제로는 만들지 않았다고 말했다.
타울리는 “인간 프로그래머가 미친 것이 아니라면, 가상의 라이브러리나 모듈을 만들어내거나 허공에서 만들어내지는 않을 것”이라고 덧붙이며 LLM 코딩은 거의 모든 인간 프로그래머가 고려조차 하지 않는 종류의 작업을 수행한다고 말했다.
이런 일이 발생할 때 누군가 찾아보면 쉽게 발견할 수 있다. 타울리는 “직접 설치하려고 하면 아무것도 없다는 것을 알 수 있다. 이 경우 IDE와 컴파일러에서 오류가 발생한다"라고 말했다.
코더의 새로운 역할
내그는 그 과정에서 많은 고통스러운 변화를 초래하더라도 AI를 움직이게 하려면 기업 프로그래밍의 노력이 필요하다는 점에서 가먼의 말이 옳다고 생각한다. 결국에는 기업의 개발 노력이 변화를 위해 더 나아질 것이다.내그는 “[코더의] 역할은 특정 구문을 만들거나 오류 코드를 디버깅하는 것만큼이나 더 큰 맥락과 비즈니스 목표를 이해하는 것이다. 디지털 사진의 부상은 사진 직업을 파괴하지 않았다. 사진을 대중화했고 모바일 필터와 보정 같은 새로운 전문 분야에 대한 폭발적인 수요를 창출했다."라고 말했다. “스프레드시트가 등장했다고 회계사가 쓸모 없어지지는 않았다. 오히려 재무 분석, 전략 및 더 복잡한 코너 케이스에 집중할 수 있게 되었다. 소프트웨어 엔지니어링 분야의 AI도 마찬가지로 애플리케이션 개발을 민주화하는 동시에 프롬프트 엔지니어링, AI 지원 개발과 관련된 새로운 역할을 창출하고 소프트웨어로 할 수 있는 일의 범위를 확장할 것이다.”
보안도 문제
또 다른 코딩 전문가인 SaaS 업체 리빙 시큐리티의 CEO 애슐리 로즈는 더 많은 코딩 영향력이 생성형 AI로 넘어갈 경우 보안에 대한 우려도 있다고 말했다.로즈는 “인터넷 인프라가 어떻게 발전해왔는지 생각해 보자. 원래는 탈중앙화되도록 설계되었지만 시간이 지남에 따라 주요 서비스가 클라우드플레어나 AWS 같은 주요 서비스 업체에 집중되었다. 이러한 중앙 집중화로 인해 한 공급업체의 중단이나 공격이 파급되어 웹의 많은 부분에 영향을 미칠 수 있는 새로운 취약점이 생겼다"라고 말했다.
코딩 부문에서 AI도 마찬가지다. 점점 더 많은 기업이 개발 프로세스에 AI 모델을 통합함에 따라 이러한 모델은 공격자에게 높은 가치의 표적이 될 수 있다. 손상된 모델은 표준 보안 검사를 통과하는 숨겨진 취약점을 유발한다. 로즈는 “이러한 모델이 광범위하게 사용된다는 점을 고려할 때 그 영향은 치명적일 수 있으며, 여러 기업에서 수천 개의 애플리케이션에 영향을 미칠 위험이 있다”라고 경고했다.
editor@itworld.co.kr
Evan Schuman editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
