시험을 어렵게 만드는 요소

 

0. 도입

며칠 전 언어학 교양 수업 기말고사의 채점을 끝냈습니다.

 

지난 중간고사를 너무 잘 봐서, 아예 작정을 하고 시험을 어렵게 낼 수 있는 기회가 생겼었습니다. 그런데도 잘 보는 사람들은 잘 보네요.

 

마음대로 시험을 어렵게 내는 과정에서 고려했던 몇 가지 요소들이 있었습니다. 그 중에서 나름 효과가 있어보이는 (즉, 학생들이 실수하게 만드는) 요소들을 이 글에 정리해 놓습니다. 아마도 다음에도 어려운 시험을 낼 일이 생긴다면 이런 요소를 응용할 것 같습니다.

 

아예 "답을 모르겠다"까지가 아니더라도 "시간이 부족하다"라는 인상을 주어도 시험을 어렵게 만드는 데에는 좋은 것 같습니다. 

 

목차

 

시험 채점하는 사람들 (희망편)

 

1. 불필요한 맥락을 너무 많이 넣는다.

문제풀이 자체를 위해서는 필요 없는 사회문화적 맥락을 과도하게 집어넣어서 혼란을 주었습니다. 이런 맥락은 오히려 무시해야 할 정보입니다. 아무래도 교양수업이다보니까 언어학에 대해 잘못된 인상을 가지고 수강한 학생들이 있었던 것 같은데, 그런 학생들에게 특히 혼란을 주었던 것 같습니다.

 

언어분화과정에서 mutual intelligibility를 기준으로 언어와 방언을 구분한다는 내용을 학습했는데, 그것을 응용하여서 가상의 두 국가 사례를 읽고 이 두 나라의 언어생활에 대해 답변하는 객관식 문제였습니다. 역사적인 갈등상황과 분쟁에 대한 내용을 과도하게 집어넣어서 혼란을 주었습니다. 두 국가 국민들이 오랜기간동안 갈등하면서 다른 문자체계를 채택하고 서로 소통하지 않았다는 내용의 긴 글을 여러 문단 주지만 궁극적으로는 여전히 mutually intelligible하다는 힌트를 남겼습니다.

 

많은 학생들이 역사적 갈등이나 기타 언어외적인 사회문화 상황에 대한 기술을 읽고 언어분화가 완료되었다고 착각한 것으로 보입니다.

 

2. 데이터 분석문제 

배운 이론을 처음보는 언어 데이터 분석에 적용시키는 것은 어느 언어학 과목이든 중간고사 기말고사에서 결코 빠지지 않습니다. 그리고 대부분의 경우 난이도를 상승시킵니다.

 

데이터 분석문제를 더 어렵게 만들기 위해서 다음과 같은 요소를 고려했습니다.

 

 

2.1 불필요한 데이터

어떤 언어에 모음조화가 있는지 여부를 판단하기 위해서는 이형태를 가지는 형태소가 있는지 판단해야 하고, 그 이형태가 결합과정에서 다른 형태소의 모음과 조화하는지를 판단해야 합니다.

 

그러나 데이터셋에 모음조화와는 상관없는 데이터포인트를 마구 넣어버리면 혼동을 줄 수 있습니다. 실제 분석을 위해 유효한 데이터포인트는 딱 4개였는데, 모음조화와는 관련없는 데이터포인트가 16개라면, 학생들을 불안하게 만들 수 있습니다. 

 

2.2 어설프게 알면 틀리는 함정

도메인 혼동을 할 경우 잘못된 분석을 하게 유도할 수 있습니다. 예를들어 공시언어학과 통시언어학을 혼동하는 학생들의 경우, 오지선다에 통시언어학적으로는 말이 되나 공시데이터로는 지지받지 못하는 선지를 넣어두면 많이 실수합니다.

 

통시언어학적 소리변화를 열심히 공부했으나, 그걸 왜 공부했는지를 모른다면, 자신이 공부한 내용 (제시된 공시데이터가 아니라) 과 합치되는 선지를 골라버리는 것입니다.

 

시험 채점하는 사람들 (절망편)

 

3. 의외로 혼동하는 부분

의도치 않았는데 스스로 함정을 파고 틀려준 문제가 있어서 적습니다.

 

 

어떤 언어 데이터를 주고 이 언어에 모음조화가 있는지 아닌지를 판단하여야 하는 문제였습니다. 그런데 단순히 동일 모음이 연속으로 출현했다는 이유로 모음조화를 가진 언어라고 답변한 학생들이 매우 많았습니다. 반대로 그 언어의 문장에서 모든 모음이 같지가 않다는 이유로 모음조화가 없다고 답변한 학생도 매우 많았습니다.

 

시험문제용으로 가상의 언어를 만들 때, 고양이를 뜻하는 일반명사를 [mjamja] 라고 하거나 강아지를 지칭하기 위해 [wowo] 라고 하는 등 단순한 단어를 만듭니다. 이것은 관심 자질을 제외한 나머지 요소들을 무시하기 위한 것입니다.

 

그런데 모음조화를 "같은 모음이 연속으로 나온다" 라는 인상만으로 파악하고 실제로 이게 어떻게 발현되는지, 사례는 뭔지 제대로 공부하지 않는다면, 이런 단어들을 모음조화의 증거로 잘못 인식할 수도 있겠습니다.

 

4. 결론

평균은 100점 만점에 한 60점 정도 나왔습니다. 가장 정답률이 낮은 문제는 정답률이 26.22% 나왔습니다.

 

지금 기쁜데 학생들이 시험을 못봐서 기쁜건지 아니면 그냥 기말고사 채점이 끝나서 기쁜건지 잘 모르겠네요. ㅋㅋㅋㅋ

 

 

 

---

• 아래에 댓글창이 열려있습니다. 로그인 없이도 댓글 다실 수 있습니다.
• 글과 관련된 것, 혹은 글을 읽고 궁금한 것이라면 무엇이든 댓글을 달아주세요.
• 반박이나 오류 수정을 특히 환영합니다.
• 로그인 없이 비밀글을 다시면, 거기에 답변이 달려도 보실 수 없습니다. 답변을 받기 원하시는 이메일 주소 등을 비밀글로 남겨주시면 이메일로 답변드리겠습니다.

---