[Science] 2 3 5 7 11 13 17 19 23 29 31 37…풀릴듯 말듯 `소수`의 규칙

"소수(素數·1과 자신의 수 외에는 나눌 수 없는 숫자)의 분포에 대해 가슴에 영원히 새길 만큼 확실한 두 가지 사실이 있다. 첫 번째는 수학자들이 연구하는 대상 중 가장 제멋대로이고 성질이 고약하다. 두 번째는 그런데도 깜짝 놀랄 만한 규칙성을 보인다는 사실이다. 소수들의 행동 양상을 지배하는 법칙이 있고 소수들은 군대처럼 거의 정확하게 이 법칙을 따른다." 천재 수학자로 유명한 돈 재기어 독일 막스플랑크 수학연구소 종신교수는 1975년 5월 5일 강의시간에 학생들에게 이 같은 내용이 담긴 12쪽짜리 강의자료를 나눠줬다.

리만 가설 : 천재 수학자 '가우스'는 불규칙하게 나열될 것만 같은 소수도 일정한 규칙을 따른다는 소수정리를 발표했다. 가우스식에 따르면 1부터 어떤 숫자 사이에 존재하는 소수의 개수를 구할 수 있다. 그런데 가우스식은 '오차'가 존재한다. 수학자 리만은 자신의 스승이었던 가우스의 방정식을 증명하는 과정에서 '가설'을 남겼다. 이 가설이 맞는다면 1부터 어떤 수 사이에 존재하는 소수의 개수를 상당히 정확하게 구할 수 있다. 최근 영국의 유명 수학자인 마이클 아티야 경이 리만가설을 증명했다고 발표해 화제가 됐다. 하지만 학계에서는 그의 증명법에 회의적인 시각을 보내고 있다.

'처음 5000만개의 소수(The First 50Million Prime Number)'라는 제목으로 된 이 강의록에는 '소수(Prime Number)'가 갖고 있는 독특한 특성이 그대로 담겨 있다. 제멋대로인데 규칙성이 있다. 상호 모순적인 이 말은 소수가 갖고 있는 난해성을 그대로 보여준다.

소인수 분해를 할 때나 쓰일 줄 알았던 이 같은 소수가 최근 대중에게 관심을 한껏 받았다. 유명 수학자인 영국의 마이클 아티야 경(89)이 소수의 개수를 다루는 '리만가설'을 증명했다고 발표했기 때문이다. 이후 수학계에서는 리만가설이 정말로 증명됐는지를 놓고 커다란 논란이 벌어졌다. 국내에서 유일하게 리만가설 증명에 도전하고 있는 기하서 연세대 수학과 교수는 "리만가설은 일반인에게는 너무 어렵고 생소한 내용"이라며 "큰 줄기만 이해하면 수학계에서 벌어지는 일을 재미있게 즐길 수 있다"고 설명했다. 리만가설이 대체 무엇인지 큰 줄기만이라도 한번 잡아보자는 의도에서 리만가설을 가장 쉬운 언어로 풀어봤다.

중학교 수학 교과서에 등장하는 소수는 '1보다 큰 자연수 중에서 1과 자기 자신만을 약수로 갖는 수'를 뜻한다. 2부터 시작해서 3, 5, 7, 11, 13, 17… 등으로 이어지는데 1과 자기 자신 외에는 나눌 수 있는 숫자가 없어 소수는 '수의 원자'라고도 부르기도 한다. 소수의 배열은 불규칙해 보인다. 2와 3 다음에 5로 이어지고 7이 됐다가 갑자기 11로 넘어간다.

하지만 '오일러의 공식'으로 유명한 수학자 레온하르트 오일러(1707~1783)는 소수를 관찰하면서 소수로만 이뤄진 식을 하나 만들었다. 소수의 제곱을 소수의 제곱에서 1을 뺀 수로 나눈 뒤 끊임없이 곱하는 식(1번 식)을 정리했더니 '파이(원주율)'가 나타났다. 놀라운 일이었다. 불규칙해 보이는 소수지만 수학자들로 하여금 '잘 찾아보면 규칙이 있지 않을까'라는 희망을 갖게 한 것이다. 이후 또 다른 천재 수학자 카를 가우스(1777~1855)도 소수를 살펴보던 중 재미있는 규칙을 발견했다. 1부터 X까지 숫자 중 소수의 개수는(π(x)로 표시한다) X를 X 자릿수(99는 두 자릿수, 999는 세 자릿수)의 두 배로 나눈 값과 비슷하다는 것을 발견한 것이다(2번 식). 예를 들어 99까지 소수의 개수는 25개다. 가우스의 식을 토대로 계산하면 99를 '2(두 자릿수)×2'로 나누면 24.75가 나온다. 25개와 비슷하다. 가우스가 발견한 이 규칙은 상당히 잘 맞아떨어진다. 1~99만9999까지 소수의 개수는 7만8498개다. 가우스가 찾은 식에 넣으면 999999/(6(여섯 자릿수)×2)= 8만3333이라는 숫자가 나온다. 차이가 있긴 하지만 상당히 유사하다.

가우스는 이를 발전시켜 "X보다 크지 않은 소수의 개수는 'y=1/log x(로그 x)' 그래프의 0에서 X까지의 넓이와 비슷하다(3번식)"는 '소수정리'를 발표한다. 로그 X가 등장해 헷갈릴 수 있지만 '3번식'을 참고하면 쉽게 이해할 수 있다. 이를 'li(X)'라고 표현한다. 즉 자연수 X보다 작은 소수의 개수를 일정한 곡선으로 표현할 수 있다는 것이다. 가우스의 곡선을 이용해 1부터 99만9999까지 소수의 개수를 구해보면 7만8626개가 나온다. 실제 값인 7만8498과 128개밖에 차이 나지 않는다. 이로써 수학자들은 소수의 개수에 대한 규칙을 어느 정도 찾았다. 하지만 수학자들은 만족하지 않았다. 여기서 발생하는 '오차'를 줄이는 게 필요했다.

이제 주인공 베른하르트 리만(1826~1866)이 등장할 차례다. 가우스의 제자였던 리만은 1859년 '주어진 수보다 작은 소수의 개수에 관하여'라는 논문을 발표했다. 이 논문에서 리만은 가우스의 '소수정리'를 증명하기 위해 소수의 개수를 살펴본 오일러 식을 함수로 바꿔 자신만의 '리만 제타함수'(4번 식)를 만들었다.

리만은 이 논문에서 복소수(실수와 허수의 합의 꼴로 나타내는 수) 평면에서 리만 제타함수가 '0'이 되는 지점을 찾았다. -2, -4, -6… 등 음의 짝수들은 리만 제타함수가 0이 되는데 이를 '자명한 해'라고 한다. 그런데 리만 제타함수에는 자명하지 않은 해들이 무한개 있는데 이들은 실수부가 0과 1사이에 있고 처음 4개의 해들이 2분의 1이라는 일직선상에 있었다. 이를 확인한 뒤 리만은 "리만 제타함수의 자명하지 않은 해들이 이 일직선상에 있다"고 가정하면서 소수정리를 증명한다. 기 교수는 "리만이 논문에서 말한 이 가정이 바로 리만가설"이라고 말했다. 즉 처음 4개의 점이 일직선상에 있는 것을 확인했으니 나머지 점도 같은 직선에 있다고 가정한 것이다.

리만은 논문에서 자신의 가설에 대해 "누군가는 분명히 더 엄밀한 증명을 바랄 것이다. 그러나 나는 수차례 무의미한 시도 후에 이 연구를 제쳐 놓았다. 나의 다음 연구 목표에는 그것이 필요 없어 보였기 때문"이라는 말을 남겼다. 기 교수는 "리만 제타함수가 0이 되는 해가 일직선상에 놓여 있다는 의미는 소수의 실제 개수와 소수정리를 통해 생각한 함수 li(X) 사이의 오차를 줄이는 작업을 의미한다"며 "보다 정확히는 오차 'π(x)-li(X)'를 '√X-logX' 정도로 줄이는 것이 리만가설"이라고 설명했다. 정리하면 리만은 X 이하 자연수에서 나타나는 소수의 개수를 정확하게 찾을 수 있음을 증명했고 그 과정에서 한 가지 가설을 남겼다. 기 교수는 "리만가설이 맞다는 것을 보여주는 여러 증거가 있지만 직접적으로 증명하지는 못했다"며 "리만가설은 1부터 X까지의 자연수 중 소수의 개수가 과연 몇 개인지를 보다 정확하게 찾을 수 있는 해법을 제공해준다"고 덧붙였다.

일각에서는 리만가설이 소수를 다루고 있는 만큼 리만가설이 입증되면 현재 암호 체계인 'RSA'가 무너질 수 있다는 이야기를 한다. 하지만 리만가설이 증명됐다고 해서 이 같은 RSA 암호 체계가 무너질 가능성은 거의 없다는 게 수학계 설명이다. 슈퍼컴퓨터를 이용해도 곱한 두 개의 소수를 찾는 데 오랜 시간이 걸리는 데다 리만가설은 단순히 소수의 개수를 설명하는 것인 만큼 RSA 암호 체계가 무너질 것이라는 주장은 과장됐다는 것이다.

■ 100만弗 상금걸린 리만가설 풀릴까?
160년간 수학자들 검증나서, 지난달 아티야 증명 내용에 학자들 "너무 모호" 회의적…검증 결론까진 수년 걸릴듯

영국수학자 마이클 아티야 경.

수학계의 세계적 석학인 마이클 아티야 경은 리만가설을 증명하는 데 성공했을까. 과거에도 리만가설을 증명했다는 수학자는 여럿 있었지만 검증 결과 '오류'가 있는 것으로 판명 났다. 아티야 경이 처음 리만가설 증명에 성공했다고 주장했을 때 학계 기대감은 컸다.

그가 수학계에 남긴 발자국이 무척 컸기 때문이다. 하지만 지난달 25일(현지시간) 페이스북과 유튜브 등을 통해 전 세계 생중계로 진행된 아티야 경의 증명 내용을 본 많은 수학자들은 고개를 갸우뚱했다. 그가 수학계 대가인 만큼 직접적으로 "틀렸다"는 말은 하지 못하지만 많은 수학자들은 그의 증명 과정에 대해 대체로 회의적인 시각을 내비쳤다.

리만가설을 연구해온 요르겐 베이스달 노르웨이과학기술대 경제학과 교수는 '사이언스'와의 인터뷰에서 "아티야 경이 보여준 증명법은 우리가 알고 있는 리만가설을 증명하는 방법이 아닌 것 같다"며 "너무 모호하고 구체적이지 않다"고 말했다. 그는 "아티야 경이 발표한 증명을 보다 면밀히 검토해야 할 필요가 있다"고 덧붙였다.

오랜 기간 아티야 경이 기하학, 위상, 이론 물리학에 큰 기여를 해온 것은 사실이다. 하지만 최근 연달아 풀었다고 발표한 여러 난제에 대해서는 모두 실패했다는 평가를 받았다. 2017년 아티야 경은 255쪽에 달하는 '파이트-톰프슨 정리'를 12쪽으로 단순화시키는 데 성공했다고 발표했다. 그는 자신의 방식을 15명의 관련 분야 전문가에게 보냈는데 모두 답을 회피하거나 회의적인 의견을 보냈다. 결국 그의 증명은 학술지에 실리지 못했다.

지난해에는 "미분기하학 분야의 유명한 문제를 풀었다"며 '아카이브'(출판 전 논문을 웹에 공개하는 사이트)에 올렸지만 곧 그의 접근 방법에서 오류가 발견됐고 역시 저널에 실리지 않았다. 사이언스는 아티야 경의 여러 동료들에게 리만가설 증명에 대해 물었지만 모두 "아티야가 리만가설 증명에 성공하지 못할 것"으로 답했다고 보도했다.

하지만 어느 누구도 자신들의 멘토이자 동료인 아티야 경을 공개적으로 비판하지는 않고 있다. 존 바에즈 캘리포니아대 교수는 아티야 경을 비판하는 몇 안 되는 수학자 중 한 명이다. 그는 사이언스에 "아티야의 증명은 어떠한 논증이나 증거 없이 하나의 주장을 쌓아올리는 것에 불과하다"고 지적했다.

아티야 경은 지난달 25일 발표에서 정작 핵심적인 자료는 공개하지 않았다. 대신 핵심 자료를 학술지 '왕립학회A'에 제출했다고 밝혔다. 윌리엄 로스 리치먼드대 수학과 교수는 기고를 통해 "아티야의 증명이 옳은지를 확인하기 위해서는 수많은 단계를 거쳐야 한다"며 "무엇보다 그가 증명 내용이 담긴 논문을 하루빨리 공개해야 한다"고 말했다. 그는 "이후에 그의 증명을 공들여 검증해야 한다"며 "검증 과정은 수개월에서 수년이 걸릴 수 있다"고 덧붙였다.

리만가설이 포함된 세계 7대 난제는 2000년 5월 미국 클레이연구소가 100만달러의 상금을 내건 미해결 수학 문제를 말한다. 7대 난제에는 'P-NP 문제' '호지 추측' '푸앵카레 추측' '리만가설' '양-밀스 이론과 질량간극 가설' '나비에-스토크스 방정식' '버치와 스위너턴-다이어 추측' 등이 포함돼 있다. 이 중 '푸앵카레 추측'만 2002년 러시아의 천재 수학자 그리고리 페렐만에 의해 입증됐다.

[원호섭 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]