챗GPT, 경제 예측 게임 도전…결과는 인간 수준?

[AI리포터]

오픈AI 챗GPT [사진: 셔터스톡]

[디지털투데이 AI리포터] 챗GPT는 얼마나 정확한 예측을 할 수 있을까? 최근 경제학자 데이비드 세이프(David Seif)가 운영하는 예측 대회에서 그 답이 공개됐다.

4일(현지시간) 비즈니스인사이더에 따르면, 이 대회에는 경제학자, 헤지펀드 투자자, 기술 임원들이 참여했으며, 약 30개의 사건을 예측하는 방식으로 진행됐다. 게임 참가자들은 불가리아의 유로 도입 시점, 테일러 스위프트와 트래비스 켈시의 약혼 발표 여부 등 다양한 질문에 확률을 매겼다.

헤지펀드 회사 이사인 샘 레펠(Sam Leffell)은 질문에 답변을 작성하던 중 챗GPT의 도움을 받아보면 어떨까 생각했다. 그는 세이프에게 챗GPT의 참가를 문의했고, 허락을 받았다. 이후 레펠은 게임의 규칙을 챗GPT에게 입력했다. 챗GPT는 이 질문에 대해 즉각적인 답변을 내놨고, AI의 예측력이 인간과 어떻게 비교될지 관심이 집중됐다.

결과는 실망스러웠다. 챗GPT는 160명의 참가자 중 80위를 기록했으며, 평균적인 인간 수준에 불과했다는 평가가 나왔다. 데이터가 충분한 질문에서는 높은 정확도를 보였지만, 새로운 정보가 반영되지 않은 질문에서는 크게 빗나갔다. 예를 들어, 챗GPT는 우주비행사 수니 윌리엄스(Suni Williams)와 부치 윌모어(Butch Wilmore)의 귀환 확률을 95%로 예측했지만, 최신 뉴스를 반영하지 못해 잘못된 결과를 도출했다.

하지만 챗GPT가 30개 질문을 예측하는 데 몇 분밖에 걸리지 않았다는 점은 주목할 만하다. 인간 참가자들은 수시간을 투자해야 했지만, AI는 즉각적으로 답변을 생성했다. 이와 관련해 레펠은 "챗GPT가 절반 이상의 참가자보다 빠르게 예측했다는 점에서 의미가 있다"고 평가했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>