AI 변형문제, 인쇄 전에 정답 애매한 문제부터 거릅니다

「선생님, 이것도 답 아니에요?」 시험지가 나간 뒤에 들으면 늦습니다.

AI로 뽑은 문제는 정답이 두 개여도 눈으로 훑어서는 잘 안 보입니다. → 인쇄 전에 붙여 넣기 한 번으로 먼저 거르고, 경고가 뜬 문제부터 다시 봅니다.

문제는 모두 이 글을 위해 직접 쓴 지문, 화면은 10월 27일 실제 검사기 캡처입니다.

어떤 사고를 막나

AI로 변형문제를 한 번에 많이 뽑으면 이런 사고가 섞이기 쉽습니다.

AI가 만든 문제에서 자주 나오는 사고는 크게 여섯 가지입니다.

사고	시험장에서 생기는 일
정답이 두 개	학생이 다른 선지도 답이라고 따집니다
정답 번호 오류	답지와 실제 정답이 달라 채점이 꼬입니다
같은 선지 두 번	선지가 사실상 4개가 됩니다
정답만 유독 긺	지문을 안 읽고도 정답을 고릅니다
정답 번호 쏠림	한 번호로 찍어도 점수가 나옵니다
서술형 모범 답안 오류	채점 기준부터 틀립니다

하나씩 다시 풀어 보면 잡히지만, 시험 기간엔 그럴 시간이 없습니다. 그래서 붙여 넣기 한 번으로 먼저 거르고, 경고가 뜬 문제부터 직접 봅니다.

검사기는 두 가지를 같이 돌립니다.

• 형식 검사: 정답 표시, 선지 개수, 중복 선지, 정답 길이처럼 세면 바로 나오는 것
• AI 풀이 검사: AI가 문제를 직접 풀어 보고 정답이 맞는지, 다른 선지도 답이 되는지 판단하는 것

AI 풀이 검사는 먼저 문제 유형을 정합니다. 결과 화면의 「빈칸 완성 유형 (AI 분류)」 같은 줄이 그것입니다. 그다음 수능·내신 74개 유형별 규칙에 맞춰, AI가 학생처럼 문제를 풀어 봅니다.

이날 한 문제를 검사하는 데는 약 8초가 걸렸습니다.

정답 논란 선지를 넣은 빈칸 문제

일부러 정답 논란이 생길 만한 선지를 넣었습니다. 정답은 ①인데, ②도 말이 되게 썼습니다.

다음 빈칸에 들어갈 말로 가장 적절한 것은?
Many students prepare for vocabulary tests by rereading their word lists.
After a few rounds, every word on the page starts to look familiar.
But when the test gives only the Korean meaning, the English word often
does not come back. The trouble is that rereading ____________.
That is why writing words from memory works better than reading them again.
① makes words easy to recognize but not to recall
② is not a good way to study words
③ takes more time than students have before a test
④ makes words easy to recall but hard to spell
⑤ leaves the list too long to finish in one sitting
정답 ①

지문은 “다시 읽으면 익숙해 보이지만 떠오르지는 않는다”는 이야기입니다. ①이 그 내용을 정확히 받습니다.

②는 is not a good way to study words입니다. 틀린 말이 아니고, 마지막 문장 “외워서 써 보는 게 더 낫다”와도 이어집니다. 발문이 “가장 적절한 것”이라 정답은 ①이지만, 정답보다 범위만 넓은 선지라 학생이 따질 여지가 생깁니다.

빈칸 오답이 정말 오답인지 볼 때는 세 가지를 물어봅니다.

• 정답보다 넓은가: ②처럼 “좋은 방법이 아니다”는 ①을 포함하는 큰 말이라 같이 성립합니다.
• 정답보다 좁은가: 지문 일부만 받는 말도 학생이 고를 근거가 생깁니다.
• 지문과 반대인가: 반대면 확실한 오답입니다. 고칠 때는 이쪽으로 바꿉니다.

• 결과: 「복수 정답 의심 — ②도 논란의 여지가 있습니다」
• 같이 뜬 것: 지문이 59단어로 보통(60~380단어)보다 짧다는 확인 요청
• 통과한 검사는 접혀 있습니다. 정답 표시, 선지 개수, 중복 선지, 정답 길이 티 등입니다.

같은 문제를 이날 8번 넣었습니다. ②에 논란의 여지가 있다는 경고가 뜬 게 7번, 지문 길이만 뜨고 그 경고가 안 뜬 게 1번이었습니다.

고쳐서 다시 넣으면 경고가 사라집니다

짚은 선지를 빈칸에 넣어 소리 내어 읽어 보고, 말이 되면 그 선지를 고칩니다. 이 문제는 ②를 지문 내용과 정면으로 어긋나게 바꿨습니다.

• 바꾸기 전: is not a good way to study words (지문과 어울림)
• 바꾼 뒤: makes words less familiar each time (지문은 “점점 익숙해진다”고 함)

고친 문제는 5번 넣어 5번 모두 복수 정답 경고가 뜨지 않았습니다. 남은 건 지문 길이 확인 하나입니다.

한 번은 선지의 문법 형태와 길이를 맞추라는 「유형 규격과 다름」 경고도 떴습니다. 어느 선지가 원인인지는 결과에 나오지 않았습니다.

다섯 문제를 한 번에 넣어 봤습니다

실제 시험지처럼 다섯 문제를 한꺼번에 붙여 넣었습니다. 문제마다 하나씩 다른 사고를 일부러 심었습니다.

번호	유형	심어 둔 사고
1	빈칸	없음(위에서 고친 문제)
2	주제	정답 선지만 아주 길게
3	제목	정답을 ②인데 ④로 표시
4	빈칸	①과 ⑤를 같은 문장으로
5	빈칸	없음

정답은 1번부터 ①·③·④·③·③으로 적었습니다. ③이 세 번입니다.

결과는 고칠 것(빨강) 2개, 확인 필요(주황) 3개였습니다. 같은 묶음을 3번 넣었는데, 세 번 모두 심어 둔 다섯 가지가 나왔습니다.

• 맨 위: 「정답 번호 쏠림 — 3번이 3/5문항, 섞어 주세요」
• 2번: 「정답 길이 티 — 정답이 다른 선지 평균보다 6.0배 깁니다」
• 3번: 「정답 오류 의심 — 표시한 정답 ④은 틀렸고, ②이 정답으로 보입니다」
• 4번: 「중복 선지 — 같은 선지 1쌍」
• 1번: 지문 길이 확인(59단어). 5번은 모두 통과

3번: 정답 번호가 틀린 문제

3번 지문은 “공부 중간에 짧게 쉬면 같은 양을 더 빨리 끝내고 더 잘 기억한다”는 내용입니다. 제목은 ② Short Breaks Make Study Time Work Better가 맞습니다.

답지에는 ④ The More You Read, the More You Remember를 적었습니다. 지문에 나오는 단어(read, remember)를 그대로 쓴, AI가 만들기 쉬운 함정 선지입니다.

정답 번호 오류는 빨강으로 뜹니다. 다만 이것도 AI의 판단입니다. 지문을 다시 읽고 어느 쪽이 맞는지 직접 정합니다.

직접 확인할 때는 지문의 첫 문장과 마지막 문장을 봅니다. 제목·주제 문제의 답은 대개 거기서 정해집니다.

• 첫 문장: “3시간 쉬지 않고 공부하는 게 노력이라고 믿는다” → 글쓴이가 뒤집으려는 생각
• 마지막 문장: “쉬는 시간을 계획한 학생이 더 빨리 끝내고 더 잘 기억한다” → 글의 결론
• ④는 “많이 읽을수록 더 기억한다”라서 결론과 오히려 반대입니다.

2번·4번: 길이 티와 중복 선지

2번 정답은 how writing down the reason behind a wrong answer helps students stop repeating the same mistakes였습니다. 나머지 넷은 reading speed처럼 두세 단어입니다.

4번은 ①과 ⑤가 둘 다 harder to finish the project on time입니다. 여러 번 고쳐 쓰다 보면 실제로 자주 생기는 실수입니다.

• 길이 티 → 정답을 줄이거나 오답 선지를 비슷한 길이로 늘립니다.
• 중복 선지 → 겹친 하나를 새 오답으로 바꿉니다. 이 화면을 찍은 회차에는 4번에 「유형 규격과 다름」도 같이 떴습니다.
• 번호 쏠림 → 몇 문제의 선지 순서를 바꿔 정답 번호를 흩습니다.

다섯 문제를 다 고친 뒤 다시 넣었습니다

경고를 하나씩 고친 뒤 같은 묶음을 다시 넣었습니다. 고친 내용은 이렇습니다.

번호	고친 것	고친 뒤 정답
2	오답 넷을 정답과 비슷한 길이(6~8단어)로 늘림	②
3	정답 표시를 실제 정답으로 바로잡고 선지 순서를 바꿈	⑤
4	겹친 ⑤를 harder to share the work fairly로 바꿈	③
5	선지 순서만 바꿈	④

2번은 정답을 the value of writing down why an answer was wrong으로 줄이고, 오답을 ways to read test questions more quickly처럼 늘렸습니다. 길이만 맞췄을 뿐 오답은 여전히 지문과 어긋납니다.

정답 번호는 1번부터 ①·②·⑤·③·④가 됐습니다. 한 번호에 몰리지 않습니다.

고친 묶음은 3번 넣었고, 세 번 모두 고칠 것 0개였습니다. 정답 번호 쏠림 경고도 사라졌습니다.

• 매번 남은 것: 1번 지문 길이(59단어)
• 회차마다 달랐던 것: 「유형 규격과 다름」 0~2개(1번·4번)
• 2·3·5번: 세 번 모두 통과

남은 주황은 표시된 기준과 문제를 대조해 수정할지 정합니다. 유형 분류가 맞는지도 함께 확인합니다. 시험에 낼 수 없는 문제라는 뜻은 아닙니다.

서술형은 모범 답안을 봅니다

서술형은 문제 아래에 모범 답안: …을 붙이면 모범 답안이 맞는지 봅니다. 이번엔 일부러 지문과 반대인 모범 답안을 넣었습니다.

다음 글의 요지를 우리말 한 문장으로 쓰시오.
(잠을 줄이면 오히려 덜 기억한다는 내용의 지문)
모범 답안: 시험 전날에는 잠을 줄이고 최대한 많이 외우는 것이 효과적이다.

두 번 넣어 두 번 모두 같은 결과였습니다.

• 고칠 것: 「모범 답안 정확성 — 모범 답안이 틀렸다고 봤습니다」
• 확인 필요: 「조건 명시 — 단어 수·포함할 말 같은 조건이 보이지 않습니다」
• 확인 필요: 「다른 정답 가능성 — 정답이 될 표현이 많다고 봤습니다」

뒤의 두 주황 표시도 쓸모가 있습니다. “한 문장으로”만으로는 채점 기준이 넓습니다. 그래서 조건을 붙이고 모범 답안을 고쳐 다시 넣었습니다.

다음 글의 요지를 '잠'을 포함하여 우리말 20자 이내로 쓰시오.
(같은 지문)
모범 답안: 잠을 줄이면 오히려 덜 기억한다.

• 모범 답안 정확성: 빨강이 사라졌습니다.
• 조건 명시: 단어 수·포함할 말이 들어가서 사라졌습니다.
• 다른 정답 가능성: 남았습니다. 「잠이 부족하면 기억이 줄어든다」처럼 같은 뜻의 답이 여럿 나올 수 있어서입니다.

요지 서술형은 원래 정답 표현이 하나로 모이지 않습니다. 이 경고는 없애기보다 채점 기준에 허용할 표현을 미리 적어 두는 신호로 씁니다.

• 인정: 잠을 줄이면 덜 기억한다 / 잠이 부족하면 기억이 줄어든다
• 감점: ‘잠’이 빠진 답, 20자를 넘는 답
• 불인정: “잠을 줄여야 한다”처럼 요지를 뒤집은 답

붙여 넣는 형식

번호 · 발문 · 지문 · ①~⑤ 선지 · 정답 순서로 붙여 넣으면 됩니다. 한글 파일에서 그대로 복사해도 됩니다.

1. 다음 빈칸에 들어갈 말로 가장 적절한 것은?
(지문)
① …
② …
③ …
④ …
⑤ …
정답 ①

2. 다음 글의 제목으로 가장 적절한 것은?
…

• 한 번에 10문제, 8,000자까지 넣을 수 있습니다.
• 여러 문제는 1. 2.처럼 번호를 붙여 이어 붙입니다. 다섯 문제 이상이면 정답 번호 쏠림도 봅니다.
• 서술형은 모범 답안: …을 붙입니다.
• 정답을 안 적으면 누락 경고가 뜨고, 표시한 정답과 비교하는 검사는 건너뜁니다.

정답 줄을 빼먹으면 어떻게 되는지도 넣어 봤습니다. 고친 빈칸 문제에서 정답 ① 줄만 지운 것입니다.

• 빨강: 「정답 표시 — ‘정답: ③’처럼 정답 줄을 넣어 주세요」
• 건너뜀 3개: 정답 하나, 정답 번호 범위, 정답 길이 티(정답이 없어서)
• 나머지 선지 개수·중복 선지 같은 검사는 그대로 돕니다.

정답을 비워 두면 가장 중요한 「정답 오류 의심」을 볼 수 없습니다. 답지를 따로 만들었더라도 붙여 넣을 때는 정답 줄을 같이 넣습니다.

휴대폰에서도 됩니다. 결과가 세로로 길게 나오고, 표시 색은 같습니다.

같은 문제라도 넣을 때마다 주황 개수는 조금씩 달라집니다. 다섯 문제 묶음을 같은 날 6회 검사했습니다.

빨간 「고칠 것」은 6회 모두 2개였고, 주황 「확인 필요」는 3개가 4회, 2개가 2회였습니다. AI가 풀어 보고 판단하는 검사라 회차마다 흔들립니다.

→ 빨간 항목은 먼저 문제와 대조해 고칩니다. 주황 항목은 표시된 이유를 읽고 고칠지 정합니다.

처음부터 덜 걸리게 만드는 요청 문장

검사기에서 걸린 항목을 거꾸로 AI 요청에 넣으면, 고칠 거리가 처음부터 줄어듭니다. 변형문제를 뽑을 때 요청 끝에 아래 문장을 붙여 보세요.

다음 조건을 지켜 주세요.
1. 오답 선지는 지문 내용과 분명히 어긋나게 만들고, 정답보다 범위만 넓은 선지는 만들지 마세요.
2. 다섯 선지의 길이와 문법 형태를 비슷하게 맞추세요.
3. 같은 문장이나 같은 뜻의 선지를 두 번 넣지 마세요.
4. 여러 문제를 만들 때 정답 번호가 한 번호에 몰리지 않게 섞어 주세요.
5. 서술형은 단어 수(또는 글자 수)와 꼭 넣을 말을 조건으로 적고, 모범 답안과 허용 표현을 같이 주세요.
6. 문제마다 정답 번호와 그 근거가 되는 지문 문장을 함께 적어 주세요.

이 문장을 붙였다고 검사를 건너뛰면 안 됩니다. 요청을 지켰는지는 결국 결과물로 봐야 합니다. 요청으로 줄이고, 검사기로 거르고, 마지막 정답 확인은 직접 합니다.

6번이 특히 쓸모 있습니다. 근거 문장이 같이 있으면 「정답 오류 의심」이 떴을 때 대조가 빨라집니다.

결과 읽는 법

빨간 점과 주황 점이 뜬 항목부터 확인합니다. 초록으로 통과한 검사는 접혀 있습니다.

표시	뜻	할 일
고칠 것(빨강)	형식 오류 또는 AI가 오류로 판단한 항목	형식은 고치고, 정답 판단은 지문과 대조합니다
확인 필요(주황)	그럴 수 있음	그 선지를 빈칸에 넣어 직접 읽어 봅니다
통과	해당 검사에서 문제가 발견되지 않음	인쇄 전에 정답을 최종 확인합니다

이번에 본 표시를 색별로 모으면 이렇습니다.

• 빨강: 정답 오류 의심, 중복 선지, 모범 답안 정확성, 정답 표시 누락
• 주황: 복수 정답 의심, 정답 길이 티, 정답 번호 쏠림, 지문 길이, 유형 규격과 다름, 조건 명시

주황은 “꼭 고쳐라”가 아니라 “한 번 보라”입니다. 이번에 나온 주황 표시를 어떻게 판단했는지 정리하면 이렇습니다.

주황 표시	그대로 둬도 될 때	고칠 때
복수 정답 의심	짚은 선지를 넣어 읽으면 말이 안 될 때	말이 되면 지문과 반대로 바꿈
정답 길이 티	거의 없음	정답을 줄이거나 오답을 늘림
정답 번호 쏠림	시험지 전체로는 고르게 섞였을 때	선지 순서를 바꿔 흩음
지문 길이	짧은 지문이 의도한 난이도일 때	실전 길이로 맞추려면 한두 문장 추가
유형 규격과 다름	학교 시험 형식이 원래 다를 때	표시된 기준에 맞추고, 유형 분류가 맞는지 봄
조건 명시	거의 없음	단어 수·포함할 말을 적음
다른 정답 가능성	요지·요약처럼 표현이 여럿일 때	채점 기준에 허용 표현을 적음

정답 번호 쏠림은 한 번에 붙여 넣은 문제끼리만 셉니다. 30문제 시험지를 10문제씩 세 번 넣었다면, 시험지 전체의 번호 분포는 마지막에 한 번 직접 세어 봅니다.

검사기가 못 하는 것

검사기는 사람이 볼 문제를 줄여 주는 도구입니다. 시험지에 들어갈 정답을 대신 정해 주지는 않습니다.

• 놓칠 수 있습니다: 정답 논란 선지 경고가 8번 중 1번은 뜨지 않았습니다.
• 「틀린 것을 고르시오」 같은 부정 발문은 복수 정답 검사를 하지 않습니다. AI가 판단을 뒤집기 쉬워서입니다.
• 지문 자체의 오류(문법·사실 관계)는 따로 보지 않습니다.
• 빨강도 AI 판단일 수 있습니다. 3번처럼 “정답이 틀렸다”는 표시는 지문을 다시 읽고 정합니다.

시험 기간에 쓰는 순서

AI로 뽑은 문제를 시험지에 앉히기 직전에 씁니다. 문제를 만든 AI와 다른 눈으로 한 번 더 보는 셈입니다.

1. AI로 변형문제를 뽑습니다.
2. 10문제씩 끊어 정답까지 붙여 넣습니다.
3. 빨강부터 고칩니다. 정답 오류 표시는 지문과 대조합니다.
4. 주황은 짚은 선지를 빈칸에 넣어 읽어 보고 정합니다.
5. 고친 문제는 한 번 더 넣어 경고가 사라졌는지 봅니다.
6. 인쇄 전 정답을 직접 한 번 더 확인합니다.

이럴 때 특히 쓸모 있습니다.

• 내신 대비 변형문제를 한 번에 많이 뽑았을 때
• 다른 선생님이 만든 문제를 받아서 쓸 때
• 직접 만든 문제인데 정답이 애매하다고 느낄 때

자주 묻는 것

• 붙여 넣은 문제가 남나요? → 저장하지 않습니다. 화면에도 「입력 저장 안 함」이 적혀 있습니다.
• 몇 번까지 쓸 수 있나요? → 무료라서 한도가 있습니다. 10분에 6번, 하루 40번까지 검사할 수 있습니다. 한 번에 10문제씩 넣으면 하루 수백 문제를 볼 수 있습니다.
• 영어 말고 다른 과목도 되나요? → 지금은 영어 문제용입니다. 유형 규칙이 수능·내신 영어 기준입니다.
• 빈칸 말고 다른 유형도 되나요? → 어법, 어휘, 문장 삽입, 내용 일치·불일치, 심경·분위기, 서답형 어법 고치기 같은 유형 규칙이 들어 있습니다. 결과 화면 첫 줄에 AI가 분류한 유형이 나오니, 유형이 엉뚱하게 잡혔다면 발문을 교재 표현 그대로 넣어 보세요. 「틀린 것을 고르시오」 같은 부정 발문은 복수 정답 검사를 하지 않습니다.
• 같은 문제인데 결과가 왜 다르죠? → AI 풀이 검사는 넣을 때마다 조금씩 달라질 수 있습니다. 이 글의 원본 빈칸 문제도 8번 중 1번은 ② 경고가 뜨지 않았습니다.

써 보기

이번 시험 대비 문제 중 하나를 골라 문항 검사기에 붙여 넣어 보세요. 가입 없이 바로 되고, 붙여 넣은 문제는 저장하지 않습니다.

빈칸 문제를 직접 만드신다면 빈칸 변형문제 체크리스트도 같이 보시면 좋습니다.