상단여백
HOME IT/과학 IT
'핵포기 안해' 김정은 속마음 AI 분석? 조선일보의 '조작'

조선일보는 2019년 1월 3일 'AI가 분석한 김정은의 최종 목표 '2020년에 핵을 보유한 경제강국'' 기사를 내보냈다. 다른 언론에는 전혀 나오지 않은 조선일보 단독 기사다. AI와 텍스트 마이닝을 사용했다고 방법론까지 적혀있다. 그런데 이 기사는 조작에 가까운 '엉터리 기사'다. 무엇이 문제인지 뉴스톱이 팩트체크했다.

조선일보 기사의 결론은 김정은 북한 국무위원장의 비핵화 의지가 상당히 낮고 핵을 포기할 생각이 없다는 것이다. 어떻게 이런 결론에 도달했을까. 우선 분석대상부터 보자. 연구팀은 2013년 3월 '핵·경제 병진노선' 연설문2016년 5월 '노동당 7차대회 보고서', 지난해 4월 노동당 전원회의에서 발표한 새로운 '경제발전노선'을 분석했다.

2019년 김정은 '속내'를 보여준다며 2013년 연설문 분석

2013년 연설문은 핵과 경제 두마리 토끼를 잡겠다는 내용이고, 2016년 당대회 보고서는 김정은 친정체제 구축을 위한 내부 단속이 주요 내용이다. 2018년 새로운 경제발전노선은 핵ㆍ경제 병진노선의 종결과 함께 비핵화 의지를 내보였다. 핵무기를 이미 완성했기 때문에 핵을 지렛대 삼아 미국과 대화에 나서겠다는 속내를 드러낸 것이다. 김정은은 평창올림픽을 계기로 남한 및 미국과 본격적으로 대화에 나섰다. 그래서 핵무기 관련해서는 2018년 이전과 이후는 완전히 다른 상황이다.

그런데 연구팀은 2019년 김정은의 속내를 보여주기 위해 6년전 연설문과 3년전 보고서를 분석했다. 2019년 신년사를 분석해도 김정은의 현재 속내를 정확히 알기 힘든 마당에 수년전 보고서와 연설문을 토대로 어떻게 현재 김정은의 속내를 짐작한다는 것인지 모르겠다. 이 연구는 이미 "김정은은 핵을 포기하지 않을 것"이라는 잠정적인 결론을 내려놓고 이를 뒷받침할 수 있는 옛날 자료를 들고온 것으로 보인다. 북한문제라면 왜곡도 서슴치 않는 조선일보를 제외하고 어떤 (보수) 언론도 이를 보도하지 않은 이유가 여기에 있다.

텍스트 마이닝으로 인과관계를 설명하기 어렵다

그럼 방법론을 보자. 'AI를 이용한 텍스트 마이닝'과 '시스템 다이내믹스'를 사용했다고 한다. 뭔가 생소한 단어가 나오니 대단한 연구를 한 것 같다. 우선 텍스트 마이닝이 뭔지 살펴보자.

텍스트 마이닝이란 어문 데이터로부터 유용한 정보를 추출해내는 과정을 말한다. 텍스트 데이터로부터 의미 있는 정보를 찾아낼 수 있을 것이라는 기대는 통계적 의미론 가설(statistical semantics hypothesis)에 근거한다. 텍스트 마이닝의 기반이 되는 이 가설은 “사람들이 쓰는 글이나 말에 등장하는 단어들의 통계적 규칙성으로부터 사람들이 말하고자 하는 의미와 정보를 찾아낼 수 있다”는 터니와 판텔의 연구(Turney and Pantel, 2010)를 전제로 하고 있다. 이러한 연구들은 대부분 특정 키워드에 의존하는 방식을 택하고 있는데 키워드 방식은 정확성에 한계가 있다.

2009년 이례적으로 구글 연구원들의 논문이 세계적인 과학분야 저널인 네이처에 실린 적이 있다. 미국의 질병 통제 예방 센터(CDC)보다 일주일 빨리 빅데이터 분석만으로 독감의 유행을 예측했다는 내용이다. 구글의 검색엔진을 통해 당시 사람들이 “독감약”, “독감병원”, “마스크”, “고열” 등과 같이 감기와 상관관계가(Correlation) 있는 검색어들의 검색량이 갑자기 증가하면 독감이 유행하기 시작했다고 예측할 수 있다. 이는 다른 복잡한 분석이나 현장 실사, 전문가 조사 그리고 병원 조사 등과 같은 비용이 많이 드는 예측방법론보다 훨씬 쉽고 빠르게 예측할 수 있어 주목을 받아왔다.

구글은 논문 게재 이후에 지속적으로 구글 트랜드를 활용해서 독감 확산을 예측하는 발표를 해왔었는데 2013년 예측에서 망신을 당하게 된다. 독감발생을 실제보다 2배 이상 과도하게 예측해 문제가 된 것이다. 구글은 2009년 이후 알고리즘을 정교하고 다듬었지만 과도하게 예측(Over-Estimation)하는 경우가 점점 더 증가하는 경향을 보이고 있었다. 이런 오류에 대하여 구글은 논평하지 않았지만 네이처 지에 따르면 미국의 질병통제예방센터(CDC)의 독감 유행과 관련된 비상 발령과 이에 대한 미디어들의 호들갑이 사람들의 검색량을 증가시켰기 때문이다. 결국 아프지 않은 사람도 편승효과(Bandwagon Effect)에 따라 검색을 한 것으로 추정됐다.

독감을 실제보다 2배 넘게 과도하게 예측한 구글. 출처: 네이처

구글은 검색량으로 독감 예측을 했는데, 그 전제 조건은 독감이라는 단어와 실제 독감의 증감에 부의 관계의 있다는 것이다. 그런데 이 관계를 인과관계로 착각하면 오류가 발생한다. 독감이 증가하면서 독감에 대한 검색도 증가했다는 것이 구글 예측의 전제 조건인데, 실제 독감이 유행하지 않더라도 미디어의 영향 등 다른 이유로 독감을 검색할 수도 있는 것이다. 독감 관련 검색량의 증가는 독감의 유행과 상관관계는 있을 수 있지만 사실 검색량의 증가가 독감을 유행 시키는 인과관계는 없기 때문이다. 네이버의 실시간 검색어가 특정 사안에 따라 요동치는 것도 비슷한 이유다.

단순한 데이터의 패턴만 보고 그걸 관계 지으려는 경향이 있는데 실제 인과관계(Causation)의 도출 문제는 상관관계(Correlation)의 도출과는 또 다른 문제이다. 상관은 인과를 나타내지 않는다(Correlation does not imply causation)는 글은 이 문제를 자세히 설명하고 있다.

그럼 조선일보 기사로 다시 돌아와보자. 앞서 말했듯이 텍스트 마이닝으로 인과관계를 설명하는 것이 쉽지 않은데 조선일보 기사가 언급한 연구는 분석 데이터조차 너무 적다. 단 몇개의 연설문ㆍ보고서로 화자의 심리상태를 확정하는 것은 불가능하다. 사전에 축적된 학습 데이터셋과 같은 근거자료 없이 김정은의 '비핵화 의지' 같은 심리 상태를 확정하는 것은 한마디로 사기다.
특히 조선일보의 해당기사에서 "핵-경제 병진 노선" 표현 들어간 문서들을 분석했다고 하니 이미 데이터 샘플부터 왜곡된 상태임을 쉽게 알 수 있어 분석이 얼마나 엉터리 인지 알 수 있다.

심리 분석이 얼마나 방대한 데이터를 필요로 하는지를 보여주는 사례가 있다. 2017년 서울대와 한국은행은 “텍스트 마이닝 기법을 이용한 경제심리 관련 문서 분류” 보고서를 발표했다. 2007년 1월부터 2017년 6월까지 10년간 경제부문 한글 언론기사 전체를 데이터셋으로 했음에도 아직 연구가 더 필요하다라고 결론을 내렸다. 딱 이 정도가 현재 한글 텍스트 마이닝을 통한 심리분석 수준이다.

시간에 따른 단어의 의미 변화를 감안해야 한다

단어나 문맥의 의미는 시간과 환경에 따라 같은 말이라도 달라지기(Semantic Change) 때문에 시계열이 고려된 문맥의 감성분석(Sentiment Analysis) 그리고 대외적인 환경분석(Mood Analysis)이 병행 되어야 한다. 평창 올림픽 이전 긴장이 고조되던 시기에 북한이 말하는 핵에 관한 키워드와 지금 북한이 말하는 핵에 관한 키워드가 가지는 문맥상 의미는 많이 다를 수 밖에 없다.

시간이 흐름에 따라 단어의 의미가 바뀌게 된다. 중세 영어에서는 고기라는 단어가 보편적으로 쓰였으나 현대 영어에서는 음식이라는 단어가 널리 쓰인다. 출처: uni-edu.de

특히 한글은 분석 난이도가 높고 많은 추가 검증을 필요로 한다. 그래서 사전에 많은 학습용 데이터셋과 검증 대상 데이터셋이 필요하다. 다양한 알고리즘을 동원해서 분류(Classification)나 군집(Clustering) 그리고 정보 추출을 시행해도 이를 100% 확정된 것처럼 말하기 힘들다. 보통 ROC(Receiver operating characteristic) 커브를 같이 보여주는 경우가 많다. 확정적인 것이 아니라 통계적 유의미성이 있는 정도를 보여주는 것이다.

이 분야에서 가장 어려운 임무로 꼽히는 것이 바로 텍스트를 통한 심리분석이나 감성분석이다. 아래의 문장을 보자.

“나는 오이를 먹는 것을 싫어하지만 얼굴에 붙이는 오이팩은 아주 좋아한다. 특히 오이향이 너무 좋다 단지 그뿐이다”

화자가 오이를 좋아하는지 싫어하는지 심리를 알 수 있을까? 직접 사람이 봐도 모르는데 컴퓨터의 정확도가 오죽할까. 여전히 텍스트를 통한 감성분석, 심리분석 같은 비정형적인 정보 취득과 분석을 컴퓨터로 정확히 하는 것은 요원하기만 하다. 감성분석 하나만 보더라도 빅데이터 분석 업계에서 한글 감성분석의 정확성은 아직도 50% 이하로 간주한다.

2018년 이후 북한이 비핵화를 표방하면서 핵이라는 단어도 그 의미가 달라졌다. 이 상황에서는 과거와 현재 발표문을 비교하는 것이 단어사용 빈도분석 이상의 의미를 갖기는 힘들다. 게다가 연설문, 보고서, 발표문은 그 양식과 대상이 다르다. 김정은의 의중이 반영되기야 했겠지만 100% 김정은의 글이 아닌 이상 이를 화자의 의식상태로 확정하는 것은 넌센스다.

연구 분석에 참여한 단체 모두 방법론 비전문가

이 연구를 분석한 기관들을 살펴보자. 이 분석은 단국대 정책과학연구소, 사단법인 샌드연구소, 세종경영자문 연구팀이 수행했다. 우선 텍스트 마이닝 전문가로 기사에 나오는 김규일 대표의 세종경영자문을 보자. 세종경영자문은 컨설팅 회사며 데이터 회사가 아니다. 텍스트 마이닝과 관련된 어떤 내용도 포털에서 검색되지 않는다. 물론 컨설팅을 하는 회사라면 기본적인 통계는 다룰 수 있겠지만 그 수준이 앞에서 살펴본 바와 같이 전문가라면 절대 하지 않을 엉터리 분석이다.

"핵 개발이 김정은 체제를 강화하는데 기여했다"는 말한 최경희 대표는 샌드연구소 소속이다. 사단법인 샌드연구소는 과거 통일비전연구소로 불렸다. 최경희 대표는 탈북자출신이다. 통일학술연구 단체라고 하지만 홈페이지는 2013년 이후 학술연구 보고서가 없다. 보수적 색깔이 문제가 아니라, 연구 분석과는 아무런 관련이 없는 단체다.

이름이 맨 앞에 나오는 단국대 정책과학연구소는 산업사회의 고도화에 부수하여 발생하는 사회전반에 대한 조사연구를 하는 곳이라고 홈페이지 적혀 있으며 7가지 연구분야 중 '남북통일'이 포함되어 있다. 그런데 매년 한차례 발행하는 <정책과학연구>라는 잡지를 빼곤 연구성과가 거의 없으며 2017년 이후 이마저 발행이 안되고 있다. 데이터 분석을 한 연구도 없다.

결론적으로 이들 단체는 데이터 마이닝과는 거리가 있는 곳이며 심리분석을 제대로 수행할 수 없는 곳이다. 조선일보에 이용당했거나 조선일보와 공모하고 이런 엉터리 분석을 수행한 것으로 보인다.

조선일보는 AI, 텍스트 마이닝, 빅데이터 분석 같은, 독자들이 어려워 하는 키워드를 이용해 기사가 과학적 근거가 있는 것처럼 포장했다. 이 기사는 왜곡 보도 정도가 아니라 사실상 조작이다. 조금만 살펴보면 누구라도 이 기사가 얼마나 엉터리로 작성됐는지 파악할 수 있다. 조선일보 조작을 보니 2019년에도 우리는 허위정보와 한바탕 씨름을 펼쳐야 할 것 같다. 독자들의 비판적 사고와 기사읽기는 여전히 유효하다.

지윤성 팩트체커  saxoji@newstof.com    최근글보기
드론/자동차/카메라 등 대한민국 남자라면 좋아할 아이템들에 관심이 많은, 게임-소프트웨어-클라우드 서비스 관련 회사의 창업자 및 임원을 지내며 정보격차 없는 낭만적인 IT 세상을 꿈꾸고 있습니다.

지윤성 팩트체커  saxoji@newstof.com

<저작권자 © 뉴스톱, 무단 전재 및 재배포 금지>

지윤성 팩트체커의 다른기사 보기
icon인기기사
기사 댓글 1
전체보기
  • 조국척살 2019-09-07 07:33:54

    비전문가라서 문제라니 사법고시도 통과못한 조국이 법무장관되는 비정상의 시대에 뭐가 문제인건지?? 뻔뻔하기 짝이 없고 불쾌한 이상한 기사네 그 따위로 살지마라   삭제

    여백
    여백
    여백
    Back to Top