MS 연구 "생성형 AI, 코드 생성은 OK…디버깅은 아직"

[AI리포터]

AI를 활용한 SW 개발이 보편화되고 있다 [사진: 셔터스톡]

[디지털투데이 AI리포터] 생성형 AI가 프로그래밍 작업에 깊숙이 들어오고 있지만, 디버깅 능력은 여전히 부족하다는 연구 결과가 나왔다고 11일(현지시간) IT매체 테크레이더가 전했다.

마이크로소프트 연구진이 9개 AI 모델을 대상으로 SWE-bench Lite라는 디버깅 벤치마크를 적용한 결과, 가장 높은 성공률을 기록한 모델은 클로드 3.7 소넷(48.4%)이었으며, 오픈AI의 o1과 o3-mini는 각각 30.2%와 22.1%에 그쳤다.

연구진은 "디버깅 도구를 활용해도 AI가 절반 이상의 문제를 해결하지 못한다"며, 이는 순차적 의사결정을 위한 데이터 부족 때문이라고 분석했다. 그러나 AI가 프로그래밍에 전혀 도움이 안 되는 것은 아니다. 구글은 신규 코드의 25%가 AI에 의해 생성되고 있으며, 메타 역시 AI 코딩 도구를 널리 활용하고 있다고 밝혔다.

마이크로소프트 연구진은 LLM을 추가 학습해 디버깅 능력을 강화할 수 있다고 보고 있으며, 이를 위한 정보 탐색 모델을 개발할 계획이다. 또한, 코드 수정 에이전트가 능동적으로 정보를 찾을 수 있는 환경인 '디버그-짐'을 오픈소스로 공개해 AI 디버깅 연구를 활성화할 방침이다.

하지만 현재로서는 AI가 개발자들에게 기대만큼의 생산성을 제공하지 못하는 실정이다. 연구진은 "대부분의 개발자는 코드를 디버깅하는 데 많은 시간을 소모한다"며, AI가 코드 생성에는 도움을 주지만, 디버깅 속도를 크게 단축시키지는 못한다고 지적했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>