전문가 스케치 분석과 AI 학습능력 합작
18개월 걸려 완성…고향 본에서 연주회
루트비히 판 베토벤(1770~1827)이 운명할 당시 그는 제10번 교향곡을 준비하던 중이었다. 그의 최고 걸작으로 꼽히는 제9번 교향곡 ‘합창’을 완성한 지 3년째 되는 해였다.
애초 베토벤은 1817년 영국 런던의 왕립필하모닉협회로부터 9번과 10번 교향곡을 함께 의뢰받았다. 그는 1824년 9번 교향곡을 완성한 후 10번 교향곡 작업을 시작하기는 했지만 건강이 나빠 큰 진전을 보지 못한 채 세상을 뜨고 말았다. 그가 남긴 것은 단편적인 음악 스케치 몇개뿐이었다.
음악사가, 음악학자, 작곡가, 컴퓨터 과학자들로 꾸려진 팀이 베토벤 탄생 250주년 기념 작업의 하나로, 인공지능을 이용해 10번 교향곡을 완성해 최근 선을 보였다. 디르크 카프탄이 지휘하는 ‘본 베토벤 오케스트라’가 지난 9일 그의 고향 본에서 열린 도이체텔레콤 포럼 행사의 하나로, 750여명의 청중 앞에서 첫 연주회를 가졌다. 2년 전 독일에서 시작된 이 프로젝트는 애초 탄생 250주년인 지난해 공개할 예정이었으나 코로나19로 인해 일정이 늦어졌다.
_______
관현악곡으로 편성해 악기 배정까지
베토벤이 남긴 스케치를 토대로 10번 교향곡을 완성하려던 시도는 과거에도 있었다. 그러나 1988년 음악학자 배리 쿠퍼는 1악장을 만드는 데서 멈추고 말았다. 베토벤이 남긴 것이 워낙 적어 그 이상 진전시킬 수가 없었다고 한다.
베토벤 탄생 250주년 기념으로 기획한 이번 복원작업에선 인공지능의 능력에 힘입어 3악장과 4악장을 완성할 수 있었다.
이번 프로젝트는 도이체텔레콤이 2019년 초 마티아스 뢰더 카라얀연구소 소장에게 작업을 의뢰하면서 시작됐다. 뢰더 소장은 음악학자와 작곡가, 인공지능 전문가 등으로 프로젝트팀을 구성했다.
이들은 우선 베토벤이 남긴 10번 교향곡 스케치를 디지털 음악 신호 규격인 미디(MIDI)로 변환한 뒤 이를 인공지능 시스템에 집어넣었다. 또 10번 교향곡 스케치를 분석해, 이것이 교향곡의 어느 부분이고 그다음엔 어떻게 전개돼야 하는지 등을 추론해 결정했다.
전문가들은 이어 전체 작품에 관한 베토벤의 노트와 완성된 곡을 인공지능에 학습시켜 베토벤의 작곡 패턴을 습득하도록 했다. 예컨대 인공지능은 그 유명한 운명 교향곡의 ‘기본 4음표’를 모티브로 5번 교향곡을 어떻게 전개해 완성했는지 학습했다.
이후 인공지능이 이를 토대로 여러가지 샘플곡을 내놓으면, 이를 전문가들이 취사선택해 인공지능에 다시 입력하는 작업을 반복하면서 곡이 점차 윤곽을 드러냈다.
인공지능의 마지막 작업은 완성한 곡을 관현악곡으로 편성해, 오케스트라를 구성하는 악기별로 연주 파트를 할당하는 작업이었다.
_______
전문가들도 원곡과 인공지능 파트 구분 못해
프로젝트팀은 2019년 11월 언론인, 음악 연구자, 베토벤 전문가들을 초대해 인공지능이 작곡한 10번 교향곡의 첫 결과물을 피아노 연주로 들려주면서 베토벤 어느 부분이 원곡이고, 어느 부분이 인공지능 파트인지 구분해 달라고 요청했다. 그러나 참석자 누구도 이를 구별해내지 못했다고 한다. 현악4중주 악보로 바꿔 실시한 테스트에서도 결과는 마찬가지였다.
_______
예술 인공지능은 새로운 방식의 표현 도구
이번 작업에 참여한 럿거스대의 아메드 엘가말 예술과인공지능연구소 소장은 과학자 미디어 ‘더 컨버세이션’ 기고문에서 “모든 면에서 베토벤의 천재성이 드러났고, 이것이 우리를 더 채찍질했다”며 “프로젝트가 진행되면서 인공지능도 일을 더 잘해냈다”고 밝혔다. 프로젝트팀은 18개월의 작업 끝에 각각 20분이 넘는 2개의 악장을 완성했다.
인공지능의 예술 작업은 언제나 논란을 부른다. 엘가말 교수는 인공지능이 예술 창작 과정에 개입하는 것에 대한 비판과 관련해 “인공지능은 예술가의 대체물이 아니라 예술가가 새로운 방식으로 자신을 표현하는 도구”라고 말했다.
그는 인공지능을 베토벤한테서 열심히 작곡법을 사사한 학생에 비유했다. 교향곡 10번은 작고한 스승 베토벤으로부터 바통을 물려받은 음악 학도의 데뷔곡일까?
_______
“이건 베토벤이 아니다” VS “베토벤의 본질을 찾았다”
연주회 후 현장에서 열린 토크쇼에서 인공지능 교향곡의 의미에 대해 활발한 토론이 벌어졌다.
도이체텔레콤에 따르면 오케스트라를 지휘한 카프탄은 “인공지능이 감정을 움직일 수 있느냐”고 반문하며 “이건 베토벤이 아니다”라고 말했다.
그러나 이번 프로젝트에 참여한 작곡가 발터 베르초바는 다른 의견을 냈다. 그는 “인공지능은 객관적이며 베토벤의 순수한 본질을 찾았다. 베토벤의 정신이 거기에 있다”고 말했다.
독일의 유명 프로그래머 아야 자프는 칭찬과 비판 모두 정당하다고 생각하며 비판의 근거는 두려움이라고 말했다. 그는 “우리가 오늘 들은 것은 역사의 한 조각”이라고 덧붙였다.
곽노필 선임기자 nopil@hani.co.kr
벗 덕분에 쓴 기사입니다. 후원회원 ‘벗’ 되기
더불어 행복한 세상을 만드는 언론 한겨레 구독신청 하기‘주식 후원’으로 벗이 되어주세요!
[ⓒ한겨레신문 : 무단전재 및 재배포 금지]
18개월 걸려 완성…고향 본에서 연주회
 |
인공지능이 작곡한 ‘교향곡 10번’을 초연하는 본베토벤오스케스트라. 디르크 카프탄의 지휘 아래 18가지의 악기와 57명의 연주자가 무대에 올랐다. 도이체텔레콤 제공 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
루트비히 판 베토벤(1770~1827)이 운명할 당시 그는 제10번 교향곡을 준비하던 중이었다. 그의 최고 걸작으로 꼽히는 제9번 교향곡 ‘합창’을 완성한 지 3년째 되는 해였다.
애초 베토벤은 1817년 영국 런던의 왕립필하모닉협회로부터 9번과 10번 교향곡을 함께 의뢰받았다. 그는 1824년 9번 교향곡을 완성한 후 10번 교향곡 작업을 시작하기는 했지만 건강이 나빠 큰 진전을 보지 못한 채 세상을 뜨고 말았다. 그가 남긴 것은 단편적인 음악 스케치 몇개뿐이었다.
음악사가, 음악학자, 작곡가, 컴퓨터 과학자들로 꾸려진 팀이 베토벤 탄생 250주년 기념 작업의 하나로, 인공지능을 이용해 10번 교향곡을 완성해 최근 선을 보였다. 디르크 카프탄이 지휘하는 ‘본 베토벤 오케스트라’가 지난 9일 그의 고향 본에서 열린 도이체텔레콤 포럼 행사의 하나로, 750여명의 청중 앞에서 첫 연주회를 가졌다. 2년 전 독일에서 시작된 이 프로젝트는 애초 탄생 250주년인 지난해 공개할 예정이었으나 코로나19로 인해 일정이 늦어졌다.
 |
베토벤이 남긴 10번 교향곡 스케치의 일부. 베토벤박물관/더 컨버세이션 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
_______
관현악곡으로 편성해 악기 배정까지
베토벤이 남긴 스케치를 토대로 10번 교향곡을 완성하려던 시도는 과거에도 있었다. 그러나 1988년 음악학자 배리 쿠퍼는 1악장을 만드는 데서 멈추고 말았다. 베토벤이 남긴 것이 워낙 적어 그 이상 진전시킬 수가 없었다고 한다.
베토벤 탄생 250주년 기념으로 기획한 이번 복원작업에선 인공지능의 능력에 힘입어 3악장과 4악장을 완성할 수 있었다.
이번 프로젝트는 도이체텔레콤이 2019년 초 마티아스 뢰더 카라얀연구소 소장에게 작업을 의뢰하면서 시작됐다. 뢰더 소장은 음악학자와 작곡가, 인공지능 전문가 등으로 프로젝트팀을 구성했다.
 |
베토벤 초상화(1820). 위키미디어 코먼스 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
이들은 우선 베토벤이 남긴 10번 교향곡 스케치를 디지털 음악 신호 규격인 미디(MIDI)로 변환한 뒤 이를 인공지능 시스템에 집어넣었다. 또 10번 교향곡 스케치를 분석해, 이것이 교향곡의 어느 부분이고 그다음엔 어떻게 전개돼야 하는지 등을 추론해 결정했다.
전문가들은 이어 전체 작품에 관한 베토벤의 노트와 완성된 곡을 인공지능에 학습시켜 베토벤의 작곡 패턴을 습득하도록 했다. 예컨대 인공지능은 그 유명한 운명 교향곡의 ‘기본 4음표’를 모티브로 5번 교향곡을 어떻게 전개해 완성했는지 학습했다.
이후 인공지능이 이를 토대로 여러가지 샘플곡을 내놓으면, 이를 전문가들이 취사선택해 인공지능에 다시 입력하는 작업을 반복하면서 곡이 점차 윤곽을 드러냈다.
인공지능의 마지막 작업은 완성한 곡을 관현악곡으로 편성해, 오케스트라를 구성하는 악기별로 연주 파트를 할당하는 작업이었다.
 |
2019년 11월의 첫 시험연주회. 아메드 엘가말 제공/더 컨버세이션 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
_______
전문가들도 원곡과 인공지능 파트 구분 못해
프로젝트팀은 2019년 11월 언론인, 음악 연구자, 베토벤 전문가들을 초대해 인공지능이 작곡한 10번 교향곡의 첫 결과물을 피아노 연주로 들려주면서 베토벤 어느 부분이 원곡이고, 어느 부분이 인공지능 파트인지 구분해 달라고 요청했다. 그러나 참석자 누구도 이를 구별해내지 못했다고 한다. 현악4중주 악보로 바꿔 실시한 테스트에서도 결과는 마찬가지였다.
_______
예술 인공지능은 새로운 방식의 표현 도구
이번 작업에 참여한 럿거스대의 아메드 엘가말 예술과인공지능연구소 소장은 과학자 미디어 ‘더 컨버세이션’ 기고문에서 “모든 면에서 베토벤의 천재성이 드러났고, 이것이 우리를 더 채찍질했다”며 “프로젝트가 진행되면서 인공지능도 일을 더 잘해냈다”고 밝혔다. 프로젝트팀은 18개월의 작업 끝에 각각 20분이 넘는 2개의 악장을 완성했다.
인공지능의 예술 작업은 언제나 논란을 부른다. 엘가말 교수는 인공지능이 예술 창작 과정에 개입하는 것에 대한 비판과 관련해 “인공지능은 예술가의 대체물이 아니라 예술가가 새로운 방식으로 자신을 표현하는 도구”라고 말했다.
그는 인공지능을 베토벤한테서 열심히 작곡법을 사사한 학생에 비유했다. 교향곡 10번은 작고한 스승 베토벤으로부터 바통을 물려받은 음악 학도의 데뷔곡일까?
 |
연주가 끝난 뒤 무대에서 열린 토론회. 도이체텔레콤 제공 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
_______
“이건 베토벤이 아니다” VS “베토벤의 본질을 찾았다”
연주회 후 현장에서 열린 토크쇼에서 인공지능 교향곡의 의미에 대해 활발한 토론이 벌어졌다.
도이체텔레콤에 따르면 오케스트라를 지휘한 카프탄은 “인공지능이 감정을 움직일 수 있느냐”고 반문하며 “이건 베토벤이 아니다”라고 말했다.
그러나 이번 프로젝트에 참여한 작곡가 발터 베르초바는 다른 의견을 냈다. 그는 “인공지능은 객관적이며 베토벤의 순수한 본질을 찾았다. 베토벤의 정신이 거기에 있다”고 말했다.
독일의 유명 프로그래머 아야 자프는 칭찬과 비판 모두 정당하다고 생각하며 비판의 근거는 두려움이라고 말했다. 그는 “우리가 오늘 들은 것은 역사의 한 조각”이라고 덧붙였다.
곽노필 선임기자 nopil@hani.co.kr
벗 덕분에 쓴 기사입니다. 후원회원 ‘벗’ 되기
더불어 행복한 세상을 만드는 언론 한겨레 구독신청 하기‘주식 후원’으로 벗이 되어주세요!
[ⓒ한겨레신문 : 무단전재 및 재배포 금지]
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
전문가 스케치 분석과 AI 학습능력 합작
18개월 걸려 완성…고향 본에서 연주회
루트비히 판 베토벤(1770~1827)이 운명할 당시 그는 제10번 교향곡을 준비하던 중이었다. 그의 최고 걸작으로 꼽히는 제9번 교향곡 ‘합창’을 완성한 지 3년째 되는 해였다.
애초 베토벤은 1817년 영국 런던의 왕립필하모닉협회로부터 9번과 10번 교향곡을 함께 의뢰받았다. 그는 1824년 9번 교향곡을 완성한 후 10번 교향곡 작업을 시작하기는 했지만 건강이 나빠 큰 진전을 보지 못한 채 세상을 뜨고 말았다. 그가 남긴 것은 단편적인 음악 스케치 몇개뿐이었다.
18개월 걸려 완성…고향 본에서 연주회
루트비히 판 베토벤(1770~1827)이 운명할 당시 그는 제10번 교향곡을 준비하던 중이었다. 그의 최고 걸작으로 꼽히는 제9번 교향곡 ‘합창’을 완성한 지 3년째 되는 해였다.
애초 베토벤은 1817년 영국 런던의 왕립필하모닉협회로부터 9번과 10번 교향곡을 함께 의뢰받았다. 그는 1824년 9번 교향곡을 완성한 후 10번 교향곡 작업을 시작하기는 했지만 건강이 나빠 큰 진전을 보지 못한 채 세상을 뜨고 말았다. 그가 남긴 것은 단편적인 음악 스케치 몇개뿐이었다.
