챗GPT에게 팩트체크를 시켜도 될까?

  • 기자명 선정수 기자
  • 기사승인 2023.02.10 10:15
이 기사를 공유합니다

아직은 안 됨. 반드시 추가적으로 근거를 확인해야!

챗GPT가 화제입니다. 윤석열 대통령이 정부부처 업무보고에서 언급한 이후 ‘열풍’이라고 불러도 될 만큼 눈길을 끌고 있는데요. 뉴스톱도 챗GPT를 이용해 팩트체크에 활용할 수 있을지 가능성을 탐색해봤습니다.

 

◈챗GPT란

챗GPT(Chat Generative Pretrained Transformer)는 우리말로 바꾸면 ‘사전 훈련된 대화 기계’ 정도로 번역할 수 있을 것 같습니다. 챗GPT에게 어떤 서비스냐고 물었습니다. 챗GPT는 “ChatGPT(Chat Generative Pretrained Transformer)은 OpenAI에서 개발한 AI 언어 모델입니다. 사용자가 입력한 문장을 기반으로 답변을 생성하는 서비스입니다. ChatGPT는 질문 및 대화에 대한 답변을 생성하는 것을 주된 목적으로 개발되었습니다. 또한, ChatGPT는 자연어 처리, 자연어 생성, 기계 번역 등 다양한 NLP(자연어 처리) 관련 애플리케이션에서 사용될 수 있습니다.”라고 답합니다.

구글 등 검색사이트에서 챗GPT 다운로드를 검색하면 프로그램을 다운로드 받을 수 있구요. 간단하게 설치하고 이메일 인증을 거치면 사용할 수 있습니다. 영어 기반으로 개발됐지만 한국어로 입력해도 답변을 곧잘 합니다. 아무런 주제를 가지고 대화를 시도해도 ‘모릅니다’ 이렇게 잘라서 답변을 거부하는 일은 없습니다. 시도 쓰고, 이야기도 짓고, 검색 대신 모르는 걸 물어봐도 잘 알려줍니다.

출처: 대통령실 홈페이지
출처: 대통령실 홈페이지

◈쏟아지는 챗GPT 관련 발언, 보도

윤 대통령은 지난 지난 27일 윤 대통령은 통일부·행정안전부·국가보훈처·인사혁신처 업무보고에서 행안부에 "(챗 GPT를) 잘 연구해서 우리 공무원들이 잘 활용할 수 있게, 그래서 불필요한 데 시간 안 쓰고 정말 국민을 위해서 필요한 서비스를 창출하는 데에만 에너지를 쓸 수 있도록 행안부에서 잘 주도해 주길 바란다"고 당부했습니다. 챗GPT로 작성한 신년사를 받아봤다며 극찬하기도 했는데요. 다만 정무적인 판단을 해야하는 연설문을 기계에게 맡기는 것이 적당하냐는 지적도 있었습니다. 

당대표 선거에 나선 안철수 국민의힘 의원은 9일 “챗GPT 기술을 대국민 소통 서비스에 도입하겠다”고 밝혔습니다. 안 의원은 “챗GPT는 사용자가 정보를 어떻게 검색해야 할지 모르더라도 입력된 단어를 기반으로 문장을 유추해주고, 데이터를 조합해 질문에 맞는 최적의 정보를 제공한다”며 “이를 당의 민원 창구로 활용한다면 정치를 잘 모르는 국민들도 온라인으로 쉽고 친절한 민원 대응 서비스를 제공받을 수 있다”고 밝혔습니다.

다수의 언론사들은 취재진이 챗GPT를 이용한 경험을 바탕으로 작성한 기사를 보도하고 있습니다. 일부 외신은 김정은에 대한 평을 물었고, 현재 한국 대통령이 누군지 묻기도 했습니다. 독도가 누구 땅이냐고 물어본 언론도 있었습니다.

출처: 안병길 의원
출처: 안병길 의원

◈국회의원 보도자료로도

국민의힘 안병길 의원은 챗GPT를 활용해 더불어민주당이 본회의의 단독 부의한 양곡관리법의 영향에 대하여 분석한 결과라며 보도자료를 냈습니다. 안 의원은 민주당이 단독으로 본회의에 부의한 양곡관리법 개정안을 연일 비판하고 있습니다.

안 의원은 “챗GPT는 양곡관리법에 대해서 2000자 분량의 구체적인 부작용을 제시했다”고 밝혔습니다. 자세하게는 ①정부의 부채 증가 ②과잉 생산 문제 ③시장의 비효율성 초래 ④공공의 부패 유발 ⑤농업 경쟁력 저하 등 5가지를 주요 부작용으로 제시했다고 합니다. 여기에 챗GPT를 끌어들인 거죠. 안 의원은 “전 세계적으로 기술력을 인정받은 빅데이터 프로그램 역시 민주당의 양곡관리법이 가져올 중대한 부작용을 뚜렷하게 알고 있는 것”이라고 의미를 부여했습니다.

보도자료를 보면 안 의원실은 챗GPT에 “쌀 의무 수매 법에 따라 발생할 수 있는 문제점에 대해 자세히 알려줘”(Please explain in detail the problems that may arise due to the mandatory rice purchase law.)라고 질문을 입력했습니다. 그런데 챗GPT에게 쌀 의무수매 문제점만 물어보면 문제점만 답변할 것이란 생각을 안병길 의원실은 안 해본 것일까요.

뉴스톱은 챗GPT에 “쌀 의무 수매법에 따라 발생할 수 있는 이점에 대해 자세히 알려줘”(Please explain in detail the benefits that may arise due to the mandatory rice purchase law, also known as the minimun support price policy.)라고 물었습니다.

그랬더니 2000자 분량의 이점을 제시합니다. ①농업인 소득 증대 ②쌀 생산량 증대 ③가격 변동성 완화 ④생태적으로 지속가능한 농업 독려 등을 꼽습니다.

한국어로 “현재 한국의 더불어민주당이 추진 중인 양곡관리법 개정안에 대해 알고 있나요?”라고 물어보니 “죄송합니다. 나의 훈련 데이터의 정보 제한이 2021년까지이므로 현재의 양곡관리법 개정안에 대한 정보를 알고 있지 않습니다.”라고 답합니다.

출처: 뉴스톱-챗GPT 시연 장면
출처: 뉴스톱-챗GPT 시연 장면

◈팩트체크에 써먹을 수 있나?

뉴스톱은 챗GPT를 이용한 팩트체크를 시도했습니다. 현재 한국 대통령은 누구인가라는 물음에는 문재인이라고 답합니다. 현재 일본 총리에 대한 물음엔 스가라고 대답합니다. 최신 정보 업데이트가 아쉬운 대목입니다. 챗GPT는 스스로도 “제 지식은 2021년 까지이므로, 현재의 정보는 알 수 없습니다.”라고 답변합니다.

현안에 대한 발언을 주로 검증하는 팩트체크 미디어로서는 이 상태로는 활용 가능성이 굉장히 낮습니다.

2021년 이후의 정보에 대해서 열심히 공부하라는 충고를 건넸습니다. 그에 대한 챗GPT의 대답은 “저는 2021년 이후 상황에 대해서도 연속적으로 학습을 통해 정보를 업데이트하고 있습니다. 그러나 정확한 대답을 제공하기 위해서는 문제에 대한 정확한 정보와 충분한 정보가 필요합니다.” 입니다.

참고로 챗GPT는 어느 정도 유머감각도 갖추고 있는 것 같습니다. AI에게 점심 맛있게 먹으라고 할 수는 없는 노릇이라 약간 유머를 섞어 “점심 데이터 맛있게 먹어라”라고 얘기했더니 “점심 데이터를 맛나게 먹어 봅시다”라고 호응하네요.

출처: 뉴스톱-챗GPT 시연 화면
출처: 뉴스톱-챗GPT 시연 화면

◈팩트체커로서 챗GPT의 현재

다음은 팩트체크에 관한 챗GPT와의 대화입니다.

뉴스톱: 챗GPT를 팩트체크에 어떻게 이용하면 좋을까요?

챗GPT: ChatGPT 모델은 여러 가지 정보에 대한 답변을 제공할 수 있으므로, 팩트 체크에도 유용하게 이용할 수 있습니다. 예를 들어, 정치, 경제, 과학, 기술, 역사 등의 주제에 대한 정보를 제공할 수 있습니다. 또한, 이러한 정보가 정확한지를 확인하는 것도 가능합니다.

하지만, 어떤 정보를 믿을 수 있는지 판단하는 것은 여전히 사용자의 책임입니다. ChatGPT 모델은 훈련 데이터로부터 얻은 정보를 기반으로 답변을 제공하기 때문에, 가장 최신의 정보는 포함하지 않을 수 있습니다. 그래서, ChatGPT를 사용하여 팩트 체크를 할 때에는, 제공된 정보가 정확한지를 다른 정상적인 출처와 비교하여 확인하는 것이 좋습니다.

뉴스톱: ChatGPT는 발언의 근거 또는 출처를 제공합니까?

챗GPT: ChatGPT 모델은 훈련 데이터로부터 얻은 정보를 기반으로 답변을 제공합니다. 그러므로, 답변에 대한 근거 또는 출처를 직접적으로 제공하지 않습니다. 사용자가 제공된 정보가 정확한지 확인하고자 할 때에는, 정보를 검증할 수 있는 다른 출처를 확인하는 것이 좋습니다.

뉴스톱: ChatGPT가 말해주는 것의 사실 여부를 판단할 수 있는 방법은 무엇일까요?

챗GPT: ChatGPT 모델은 훈련 데이터로부터 얻은 정보를 기반으로 답변을 제공합니다. 훈련 데이터에 포함된 정보가 정확하지 않을 수 있고, 최신의 정보가 포함되어 있지 않을 수 있습니다. 그래서, ChatGPT의 답변을 사실로 판단하기 위해서는 다음과 같은 방법을 사용할 수 있습니다. 

다른 출처의 정보와 비교: ChatGPT의 답변이 정확한지 확인하기 위해서는, 다른 정상적인 출처의 정보와 비교할 수 있습니다. 전문가의 의견- 해당 분야의 전문가의 의견을 참고할 수 있습니다. 정확한 검색어- ChatGPT의 답변이 맞지 않을 경우, 정확한 검색어를 사용하여 다시 검색할 수 있습니다. 하지만, 최종적으로 ChatGPT의 답변이 정확한지 판단하는 것은 사용자의 책임입니다.

뉴스톱: 사실 여부를 판단함에 있어 ChatGPT는 정상적인 출처라고 볼 수 없을까요?

챗GPT: ChatGPT는 정상적인 출처로 볼 수 없습니다. ChatGPT 모델은 훈련 데이터를 기반으로 학습한 AI 모델로서, 훈련 데이터의 정확성, 최신성, 편향 등의 영향을 받을 수 있습니다. 따라서, ChatGPT의 답변을 정확한 정보로 보기 위해서는 다른 정상적인 출처와의 비교, 전문가의 의견, 정확한 검색어 등의 방법을 사용해야 합니다.

챗GPT가 스스로 밝히고 있듯이 현재로선 이 모델을 팩트체커로 활용하는 것은 바람직하지 않습니다. 일단 훈련에 사용된 데이터가 2021년까지로 제한돼 있어 최근 상황은 반영하지 못하고 있을 가능성이 큽니다. 영어 기반으로 개발되다보니 미국 바깥의 일에 대해선 정확한 정보가 제공되지 않았을 가능성도 큽니다. 일부 올바른 사실 관계에 기반한 답변을 제공한다고 하더라도 판단 근거가 되는 원문을 공개하지 않기 때문에 팩트체크의 근거로 챗GPT를 제시할 수 없습니다. 앞서 언급한 안병길 의원처럼 막연히 챗GPT에 권위를 부여해 판단 근거로 삼는 것은 매우 위험하다고 할 수 있겠습니다. 

이 기사를 공유합니다
관련기사
오늘의 이슈
모바일버전