AI가 당신에게 거짓말을 하는 이유
- 6시간 전
- 4분 분량
일상 속 AI
책을 읽다가 궁금한 것이 생기면 여러분은 어떻게 하는가? 나는 요즘에는 인터넷 브라우저보다는 ChatGPT나 Gemini앱으로 향하게 되는 것 같다. 어느 새부터 인가 다양한 AI 서비스들은 우리 일상 속에 자연스럽게 스며들게 되었다. 우리의 생활과 생성형 AI들은 이젠 떼려야 뗄 수 없는 관계가 되어버렸다. AI로 인해서 많은 편리함도 생겨났고, 그에 따른 많은 문제점도 발생했다. 문제점 중 하나를 예로 들어보자면, 제아무리 만능적인 AI라지만 어떨 때에는 잘못된 정보를 주기도 한다. 그렇다면 왜 AI는 우리에게 거짓말을 하고, 이를 해결하기 위해서는 어떻게 해야 할까? 나는 이 글에서 AI가 당신에게 거짓말을 하는 이유와, 이를 해결하기 위해서는 어떻게 사용해야 할지 알아보려고 한다.
다양한 종류의 생성형 AI들
2018년 OpenAI에서 트랜스포머를 이용한 최초의 GPT-1이 나왔다. 이때만 해도 파라미터는 1.17억개로 매우 적은 숫자였고, 아직은 많이 불완전한 단계였었다. 시간이 조금 지난 2022년에 GPT-3.5를 기반으로 하는 Chat GPT가 세계에 공개되면서 엄청난 이목을 끌었었다. 우리에게 가장 익숙한 모델이 아마 GPT-3.5 일 것이다. 아직은 이미지를 인식할 수 없었고, 대화 중심으로도 아직은 조금 부족한 면모를 보여줬지만, 그 시대의 그야말로 ‘혁신’이라고 부를 수 있는 범용AI였다. 그 이후에 GPT-4, 5 와 Google의 Gemini, Deepmind가 출시되면서 파일도 입력받는 멀티 모달로 발전하게 되면서 AI 시장의 평균이 매우 높아지게 되었고, 높은 정확도와 빠른 속도를 얻게 되었다. 인기에 편승해 학술적인 부분에서 특화되어 있는 퍼플랙시티, 알파폴드와 같은 다양한 AI도 출시하게 되었다.
AI가 작동하는 원리
AI에는 정말 다양한 작동 방식이 있다. CNN, RNN, LLM등 정말 다양한 학습 방법이 존재한다. 그 중에서 방금 언급한 대부분의 AI 서비스들은 ‘Transformer’라는 AI 구조를 이용한다. 유명한 예시로, ChatGPT의 GPT는 Generative Pre-trained Transformer의 약자이다. 이 트랜스포머 구조는 방대한 양의 텍스트를 사전 학습(pretraining)한 후, 특정한 작업에 맞춰서 미세 조정(fine-tuning)하는 방식이다. 자세히 설명하자면, 수많은 단어들을 벡터로 연관성을 계산하고, 가장 연관성이 높은 단어를 다음에 올 단어로 생각해서 예측(Next-token) 방식으로 출력하는 것이다. 간단하게 설명하자면, 많은 량의 텍스트 데이터들 간의 연관성을 분석해서 가장 다음에 올 확률이 높은 단어를 예측하는 방식으로 작동된다고 생각하면 된다.
AI가 거짓말을 하는 이유
작동 원리를 들어보면 간단한 작업부터 복잡한 일까지 만능인 것 같은 AI지만, 그런 AI도 가끔 우리에게 잘못된 정보를 주기도 한다. 유명한 일화로 ‘세종대왕님이 맥북을 던진 사건’이 있다. 이런 터무니없는 일도 실화로 만들어버리는 경우가 존재하는데, 왜 AI는 이런 거짓말을 하는 걸까?
이런 어이없는 현상을 ‘환각(hallucination)’이라고 한다. ‘환각(hallucination)’이란 LLM이 겉으로는 자연스럽고 그럴 듯한 문장을 생성하지만, 사실 전혀 사실이 아니거나 맥락과 맞지 않는 내용을 만드는 현상이다. 이는 다음 단어를 예측하는 LLM, Transformer의 방식으로 인해서 발생한다. 이러한 AI들은 출력하는 말이 전부 사실인지보다, 출력되는 말이 언어적으로 자연스러운지를 중심으로 최적화되기 때문에 거짓말을 하게 되는 것이다. 또한, 흔한 일상 주제가 아닌 학습 데이터를 얻기 어려운 주제의 경우에도 환각이 일어나게 되는데, 이를 데이터 희소성으로 인한 싱글턴(singleton) 문제라고 부른다. 이건 너무 희소한 데이터의 경우에는 모델이 그 사실을 일반화하거나 패턴화 하기 어렵기 때문에 통계학적으로 환각을 일으키게 된다. 이건 아쉽지만, LLM기반 학습 방식의 한계점이다.
2025년 9월 5일, OpenAI 공식 블로그와 논문 투고 사이트 arXiv에 흥미로운 연구 결과가 올라오게 된다.(https://openai.com/index/why-language-models-hallucinate/utm_source=chatgpt.com) 최근 OpenAI 개발팀의 연구에 따르면, 모델을 평가하는 지표가 ‘정답을 맞히는 것’에 집중되어 있고, ‘모른다(uncertainty)’라고 표현하는 것에는 평가 보상이 적다고 한다. 이런 모델 평가 구조에서는 모델이 “모른다”고 말하기보다 “가능성 높은 답변”을 생성하는 게 성능 지표상 더 유리하게 된다. 그 결과 확신에 차 있지만 잘못된 답변인 환각을 만들도록 학습될 가능성이 커진다.
정확한 정보를 얻는 나만의 팁
그렇다면 통계학적으로 피하기 어려운 환각은 어떻게 피할 수 있을까? 대표적인 방법으로는 ChatGPT와 Gemini같은 범용 AI가 아닌 특정 분야에 특성화된 AI를 사용하는 것이다. 앞서 환각의 대표적인 이유로 학습 데이터의 부족으로 인한 일반화의 어려움을 들었는데, 각 분야에 특성화된 AI들은 그 분야에 대해서 특히 많은 데이터를 학습했으므로 환각을 일으킬 가능성이 커진다. (물론, 이런 특성화 AI에게 다른 분야의 질문을 하면 범용 AI보다 많은 환각이 발생된다.) 예를 들어, 학술적인 정확도가 요구되는 작업에서는 퍼플렉시티, 알파폴드 같은 서비스를 사용하면 더 높은 정확도를 얻을 수 있다. 범용 AI를 사용해야 하는 상황에서는, 내 경험에 따르면 ChatGPT는 문과, Gemini는 이과 성향이 강해서 ChatGPT에게는 문학적인 작업이 필요하는 요청, Gemini에게는 정확한 수, 과학적인 정답을 요구하는 요청을 하면 좋을 듯하다. 그리고, 검색 키워드에 ‘인터넷 검색’을 포함하면 AI가 인터넷에서 정보를 검색해서 답변에 포함하는데, 이를 이용하면 학습이 부족한 희소한 질문에도 꽤나 양질의 답변을 얻을 수 있다.
또한, 말투에 대해서도 높은 정확도를 얻는 말투가 있다. Om Dobariya, Akhil Kumar의 연구(https://arxiv.org/abs/2510.04950?utm_source=chatgpt.com)에 따르면, 5가지 말투에 대해서 AI모델의 정확도를 테스트했을 때 매우 무례한 말투(84.8%)를 사용하면 매우 정중한 말투(80.8%)를 사용하는 것보다 높은 정확도를 얻을 수 있다고 한다. 물론, 욕설이 포함된 경우는 무례한 말투로 따지지 않고, 이 연구는 GPT-4o에 대해서만의 연구 결과이므로 다른 모델의 경우 다를 수도 있다.
AI의 바람직한 사용
나는 AI는 가장 효율적으로 사용할 때, 가장 빛을 바란다고 생각한다. 이미 AI는 우리 일상 곳곳에 침투해 있고, 아예 사용하지 않는 것은 거의 불가능할 것이다. 당연히 본인이 직접 해야 하는 일은 본인이 해야겠지만, AI가 할 수 있는 간단한 일의 경우에는 AI를 사용하는 것도 나쁘지 않다. 그러니 기왕이면 현명하게 사용해서 정확한 답을 얻도록 하자. ‘지피지기면 백전불태’라는 말이 있듯이, AI에 대해서 정확하게 알고, 나에게 필요한 내용을 정확하게 알고 있다면 더욱 현명하게 사용할 수 있을 것이다.
이도열 학생기자 | Mathematics | 지식더하기
참고자료
[1] Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. arXiv preprint arXiv:2509.04664.
[2] Dobariya, O., & Kumar, A. (2025). Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (short paper). arXiv preprint arXiv:2510.04950.
첨부 이미지 출처
[1] Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. arXiv preprint arXiv:2509.04664.
댓글