Web Analytics Made Easy - Statcounter

생각나는대로

GenAI 시대에 과제내기: hallucination 유도하기

sleepy_wug 2025. 10. 14. 09:09

2학년 음운론 개론 과목에는 전사(transcription) 과제가 반드시 한번 들어간다.

 

단순한 단어 전사하기는 사전에 발음표기가 나오니까 당연히 옛날부터 베껴서 제출할 수 있다고 전제되었기에 대체로 complex word나 짧은 문장을 broad transcription시킨다.

 

GenAI의 도래 이후 문제가 생겼다. 정직하게 직접 한땀 한땀 전사해서 제출한 학생보다 그냥 ChatGPT한테 '해죠' 해서 제출한 학생이 점수를 더 잘 받게 된 것이다.

 

나는 한땀한땀 전사하는 학생들이 더 혜택을 보았으면 좋겠다고 생각한다. 그 과정에서 더 많이 배우고 노력을 하기 때문에 성적 상의 보상을 주고 싶은 마음이고, 이런 식으로 보상을 받게 되면, 음운론에 흥미를 가질 동기부여가 될 것이기 때문이다.

 

그래서 고민하다가 이런 생각을 하게 되었다. ChatGPT는 정해진 '정도'에 기반한 답변에는 정확하다가 한번 hallucination을 시작하면 그 형상이 '비체계적'non-systematic하다.

 

반면 인간이 '착각'을 하면 그 착각은 체계적이다. 예를 들어 위치자질을 [+anterior]랑 [-anterior] 사이에서 혼동하면 그 학생의 답안지는 쭉 '체계적으로' 혼동되어있다.

 

이를 반대로 이용할 수 있을 것같다. 문제의 prompt 자체에서 한단계 꺾어주는 것이다. '이 문제에 한하여, alveolar 랑 velar 자음을 맞바꾸어서 기호를 쓰세요' 만약 /t/가 voiceless alveolar stop인 걸 아는 학생이라면 /t/를 쓸 자리에 /k/로 바꿔쓸 수 있을 것이다. /k/는 voiceless velar stop 이기 때문이다.

 

이렇게 했을 때 채점의 난이도는 상승하지 않으나 ChatGPT에게 '해죠' 딸깍 했을 때 비-체계적으로 hallucinate할 확률은 더 올라간다. 

 

실제로 학생입장이 되어 해당 과제를 받았을 때 ChatGPT한테 "해줘" 해본 결과이다.

https://chatgpt.com/share/68ed943f-2528-800a-87a5-166260c90a88

 

ChatGPT - Transcribe with consonant change

Shared via ChatGPT

chatgpt.com

 

 

 

뭐, 한번의 instance로 확언할 수는 없을 것이다. GPT API 있는 사람이라면 반복시행을 해보던가 할 수 있을 것이다.

 

다만 학생을 더욱 괴롭히기 😈 위한 하나의 아이디어ㅋㅋㅋㅋ

 

 

 


이어서 어떤 글을 읽을 건가요?

 


  • 글이 유익했다면 후원해주세요 (최소100원). 투네이션 || BuyMeACoffee (해외카드필요)
  • 아래 댓글창이 열려있습니다. 로그인 없이도 댓글 다실 수 있습니다.
  • 글과 관련된 것, 혹은 글을 읽고 궁금한 것이라면 무엇이든 댓글을 달아주세요.
  • 반박이나 오류 수정을 특히 환영합니다.
  • 로그인 없이 비밀글을 다시면, 거기에 답변이 달려도 보실 수 없습니다. 답변을 받기 원하시는 이메일 주소 등을 비밀글로 남겨주시면 이메일로 답변드리겠습니다.