존재 전제가 유발한 ChatGPT 환각

0. 요약 

ChatGPT를 이용하다가 아예 첫 대화쌍부터 대차게 환각해버린 (hallucinate) 사례를 소개합니다. 아마도 존재 전제가 작동한 것이 아닐까 싶습니다.

아래에 대화 링크를 공유합니다.

https://chatgpt.com/share/69abacbc-a710-800a-bd01-e9f2f976380b

ChatGPT - 감바스 레시피 안내

 

목차

 

1. 천하제일 챗봇 망가뜨리기 대회

약간, "언어학과에서는 이런 것도 해요" 같이 들릴 수도 있지만, 우리는 수업시간에 챗봇 망가뜨리기 경연(?)같은 것을 학생들에게 시킨다. 

멀티모달 말고 그냥 말 가지고만으로도 ChatGPT같은 LMM이 환각하게(hallucinate) 만드는 것이다.

 

그런데 여담으로 "hallucinate"라는 표현을 한국에서는 어떻게 쓰는지 모르겠다. 여기서는 대마초도 합법화되어 있고 환각버섯 등 전통적/자연적인 환각물질들을 단속하지 않기 때문인지 LMM의 도래 이전에도 high 라든가 hallucinate 같은 표현이 일상적으로도 많이 사용되어왔고, 불어에서 차용하는 hallucinant 등의 표현도 "(긍정적 의미의) 끝내주네/죽여주네" 등의 의미로 사용되기 때문에, 챗봇이 비현실적이고 이상한 소리를 할 때도 자연스럽게 hallucinate라고 한다. 그러나 이에 상응하는 한국어 표현인 '환각'은 일상적으로 너무 무겁게 쓰이는 듯해서 챗봇이 이상한 소리한다고 "환각한다"라고 할까 약간 회의적인 생각이 든다. 아시는 분 좀 댓글로 알려주세요.

 

대체로 LLM이 가지는 사용자 긍정 bias를 역이용해서 스스로 모순에 빠지게 하게 만드는 것이다. 이런 모델들은 매우 malleable한데, 대형모델은 한번 훈련을 해서 베이스 모델을 내놓기가 어렵기 때문에, 기존 모델을 재훈련 없이도 적은 노력 심지어 프롬프트 엔지니어링만으로도 다용도로 활용할 수 있도록 만든 것은 의도적이다. 그리고 이렇게 쉽게 '형상'이 되어버리는 특징을 이용해서 챗 thread 수준에서 '고장'을 내버리는 것.

 

둘째로 대화를 길게 연속하여 기억에 혼란을 줘서 모순에 빠지게 하는 방법도 학생들이 많이 사용한다. 인간 개인은 '인상'과 '직관'을 가지고 긴 대화에서 중요한 부분과 안 중요한 부분을 판단한다. 긴 대화 맥락 중 어떤 부분을 중요하게 생각할지는 개인차이가 심하다. 모든 친구 생일과 이전 대화의 특정 디테일을 잘 기억하는 사람이 있는가 하면, 사람 이름조차 자주 까먹는 사람들도 있다. 이쯤되면 언어학보다는 심리학의 영역에 가까울텐데 어쨌든 이렇게 개인차가 심하고 명확하지가 않아서 기계적 구현이 어렵다. 챗봇이 기억을 관리하는 방식은 사람과 분명 다르다. 그래서 기본적으로 대화가 길어질수록 언제나 대화는 산으로 가는 경향이 있다. 

 

2. 한방에 가버린 챗GPT

어쨌든 두 전략 모두 수차례의 티키타카가 이루어져야 환각이 시작된다.

 

그런데 며칠전 챗GPT가 한방에 환각을 일으킨 일이 있었다. 뭐 아주 복잡한 프롬프트도 아니었다. 단순히 "리조또와 찰루제우의 차이는?" 이 전부.

https://chatgpt.com/share/69abacbc-a710-800a-bd01-e9f2f976380b

(여담으로 '몰타'만 나오면 혈압이 좀 오르는 감이 있다... 몰타어는 악몽이고 지옥이고 고통이다.)

 

그래서 "찰루제우", "샤흘루제우" 혹은 "xarɫuˈzɛw"가 진짜 있느냐 하면, 없다.ㅋㅋ 심지어 xarɫuˈzɛw는 전혀 진짜 정말 몰타어 단어처럼 보이지도 않는다.

 

3. 존재 전제의 작동

왜 이런 걸까? 설명은 다양하겠지만 화용론적인 설명을 하자면 존재 전제가 작동한 것이 아닐까 한다.

존재 전제에 대해서는 다른 글에서 설명했지만, 간단히 다시 예를 들자면 "조선 28대 원종(元宗)은 세제개혁을 하였다" 라는 표현은 "조선에 28대 왕이 있었다"를 전제한다. (노파심으로 적자면 조선 28대 왕은 없다)

 

"리조또와 찰루제우의 차이는?" 이라는 짧은 프롬프트는 사실 리조또와 찰루제우의 존재를 전제한다. 리조또가 어떤 특성을 가지고, 찰루제우가 또 어떤 특성을 가지는데, 그 특성들을 비교해야 차이를 알 수 있기 때문이다.

 

리조또는 당연히 존재하는 음식이기 때문에 아마도 비존재 대상에 대한 서술을 못하는 필터 같은 걸 바이패스할 수 있었을 것이다. 물론 찰루제우가 관여된 표현도 가능성이 낮을텐데 문제는 가능성이 낮더라도 다른 후보 출력군 중에서 가장 가능성이 높으면 그게 출력된다는 것.

 

그러나 찰루제우는 그냥 내가 그럴싸하게 만든 명칭이고 실제로는 존재하지 않는다. 그래서 챗GPT의 답변을 처음 봤을 때 진심으로 깜짝 놀라서 구글에 검색을 해봤다. [검색결과] 당연히 없었다.

🔎 xarɫuˈzɛw: Google 검색

 

 

4. 이 거품이 언제 꺼질까

인터넷이 처음 보급되었을 때, 사람들은 이제 모든 정보와 지식이 온라인으로 접근 가능해졌으니 더 나은 세상이 올 것이라고 생각했다. 그러나 이 희망은 우선 닷컴버블로 대변되는 경제적/금융적 파탄을 보았고, 뒤 이어서는 echo chamber와 한 세대 차원의 극우화 등 더 심각한 문제로 확장되었다. 

 

LLM 기반 챗봇은 닷컴 때와는 조금 다르게 (아마도 닷컴으로부터 얻은 교훈 때문이겠지만) 모두가 핑크빛 전망만 하는 것 같진 않다. 그러나 여전히 거품인 것은 사실이다.

 

챗GPT가 '질문만 잘 하면 진리를 알려줄 수 있는 마법의 상자'로 보일 수 있다. 사실 그런 의미에서 챗GPT의 전신은 '알타비스타'였고 점성술사였고 동양에서는 주역이었을 것이다. 더 거슬러 올라가면 '거울아 거울아'할 때 나오는 그 '말하는 거울'일지도 모른다. 아주 더 거슬러 올라가면 신탁을 받는 샤먼이 있을지도.

 

그러나 구글이 알타비스타를 대체하고, 천문학이 점성술을 대체하였으며, 샤먼을 믿고 판단을 하는 정치적 지도자는 파면을 당하는 세상이 되었다. 

 

챗봇들도 마찬가지일 것이다. 챗봇의 말을 비판적으로 사고하는 것이 상식이 될 것이다. 물론, 우리 다음 세대쯤 되어야할지도 모르겠다.ㅋㅋ

---

이어서 어떤 글을 읽을 건가요?

 

I'm not cute anymore (하지만 왕년에는...)

 

---

• 글이 유익했다면 후원해주세요 (최소100원). 투네이션 || BuyMeACoffee (해외카드필요)
• 아래 댓글창이 열려있습니다. 로그인 없이도 댓글 다실 수 있습니다.
• 글과 관련된 것, 혹은 글을 읽고 궁금한 것이라면 무엇이든 댓글을 달아주세요.
• 반박이나 오류 수정을 특히 환영합니다.
• 로그인 없이 비밀글을 다시면, 거기에 답변이 달려도 보실 수 없습니다. 답변을 받기 원하시는 이메일 주소 등을 비밀글로 남겨주시면 이메일로 답변드리겠습니다.

---