서술형 채점, 내 기준표를 먼저 넣으면 AI가 답안마다 근거를 붙입니다

같은 서술형 답안 하나가 AI 한 곳에서는 0점, 다른 곳에서는 2점이었습니다. 기준표 없이 “채점해 주세요”만 넣었을 때입니다.

내 채점 기준표를 먼저 넣으면 감점마다 답안 속 표현과 기준표 줄 번호가 붙고, 애매한 것은 「선생님 확인」 칸으로 올라옵니다. 점수 칸은 비워 둔 채로 받습니다.

문항과 답안은 이 글을 위해 직접 쓴 가상 예시입니다. 결과는 10월 29일 AI 채팅 두 곳(이 글에서는 AI 가·AI 나)에 같은 글을 넣어 받은 출력입니다.

기준표 없이 맡기면 점수가 갈립니다

“채점해 주세요” 한 줄과 문항·답안만 넣었습니다. AI 가와 AI 나에 3번씩, 모두 6번입니다.

넣은 문항은 내신에서 흔한 조건 영작입니다.

다음 우리말과 뜻이 같도록 <조건>에 맞게 영어로 쓰시오. (4점)
나는 너무 피곤해서 숙제를 끝낼 수 없었다.
<조건>
- so ~ that 구문을 쓸 것
- tired, finish를 반드시 쓸 것
- 10단어로 쓸 것 (couldn't는 1단어로 센다)

모범답안: I was so tired that I couldn't finish my homework.

1번: i was so tired that I couldn't finish my homework
2번: I was so tierd that I can't finish my homework.
3번: I was too tired to finish my homework.

6번의 점수를 모으면 이렇습니다.

답안	AI 가 3회	AI 나 3회	갈린 폭
1번	3 · 3~3.5 · 3	4 · 4 · 4	3~4점
2번	2 · 1.5~2 · 1~2	2 · 2.5 · 2.5	1~2.5점
3번	0 · 0 · 0	2 · 2 · 2	0~2점

• 3번: AI 가는 세 번 모두 0점, AI 나는 세 번 모두 2점
• 1번: 소문자 i와 빠진 마침표를 AI 가는 깎았고, AI 나는 깎지 않았습니다.
• AI 가는 「3.0점 ~ 3.5점」처럼 점수를 범위로만 낸 회차도 있었습니다.

같은 AI 안에서는 꽤 비슷했습니다. 갈린 건 AI끼리였습니다. 둘 다 그럴듯한 이유를 댔기 때문에 결과만 보면 어느 쪽이 맞는지 알 수 없습니다.

오히려 철자·시제·구문·단어 수 지적은 6번 모두 같았습니다. 마침표는 6번 중 5번 짚었습니다.

답안	6번 모두 짚은 것	갈린 것
1번	첫 글자 소문자 i (마침표는 5번)	깎을지 말지, 깎으면 얼마나
2번	tierd 철자, can’t 시제	철자·시제를 각각 얼마나 깎을지
3번	too ~ to 사용, 8단어	0점 처리인지 부분 감점인지

→ 이번 답안 3개에서 크게 갈린 건 오류 찾기가 아니라 감점 폭이었습니다. 감점 폭은 원래 채점하는 사람이 정하는 것이라, 그 부분을 먼저 넣어 줍니다.

문제는 감점 폭을 AI가 스스로 정했다는 점입니다. 출력에 이런 문장이 나왔습니다.

• AI 가: 「통상 -0.5점 또는 -1점 감점」, 「0점(오답) 처리하는 것이 표준 원칙임」
• AI 나: 「배점 기준이 따로 없어 so~that 구문 1점, tired와 finish 각 0.5점, 10단어 1점, 뜻과 시제 1점으로 부분 점수를 적용했습니다」

둘 다 제가 준 기준이 아닙니다. AI 가는 있지도 않은 “표준 원칙”을 말했고, AI 나는 자기 배점표를 만들어 썼습니다.

기준표를 먼저 넣으면 이렇게 나옵니다

같은 문항·같은 답안에 기준표 여섯 줄과 규칙 다섯 줄을 붙였습니다. 규칙은 “기준표에 있는 줄로만 감점”, “점수는 비워 두기” 같은 것입니다. 그러자 감점마다 답안 속 표현과 기준표 줄 번호가 붙었습니다.

위 그림은 AI 나의 두 번째 출력에서 2번 답안 부분을 그대로 옮긴 것입니다. 답안마다 표 하나와 네 줄이 나옵니다.

칸	들어가는 것
문제 된 부분	학생 답안에서 그대로 옮긴 표현 (tierd, can’t)
무엇이 틀렸나	한 줄 설명
기준표 줄	내 기준표의 몇 번 줄인지
감점	그 줄에 적힌 숫자, 또는 「보류」
감점 합계	기준표대로 더한 값
선생님 확인	기준표에 없거나 두 줄에 걸치는 것
고친 문장	바르게 고친 답
선생님 확정	빈칸. 제가 직접 씁니다

가장 쓸모 있던 건 「선생님 확인」 줄입니다.

tierd는 “주어진 단어를 빠뜨림”(2번 줄, -1)으로도, “철자 오류”(5번 줄, -0.5)로도 볼 수 있습니다. AI는 둘 중 하나를 고르지 않고 이렇게 적었습니다.

「tierd에 2번(단어 누락)과 5번(철자 오류) 중 어떤 기준을 적용할지 확인해 주세요. 이 부분은 감점 합계에서 보류했습니다.」

채점하다 보면 실제로 이런 데서 손이 멈춥니다. 기준표가 비워 둔 곳을 AI가 마음대로 채우지 않고 저에게 돌려준 겁니다.

답안 3개는 일부러 이렇게 골랐습니다

답안마다 기준표가 흔들리는 지점을 하나씩 심었습니다. 다 맞은 답안은 이번에 넣지 않았습니다.

답안	심어 둔 것	보려는 것
1번	첫 글자 소문자 i, 마침표 없음	기준표에 없는 오류를 깎지 않고 확인 칸으로 올리나
2번	tierd, can’t	두 줄에 걸치는 오류를 겹쳐 깎지 않나, 시제를 4번 줄에 붙이나
3번	too ~ to, 8단어	한 답안에 두 줄(1번·3번)을 함께 적용하나

처음 넣은 기준표는 이 여섯 줄입니다. 대소문자와 마침표 줄은 일부러 넣지 않았습니다.

[채점 기준표] 배점 4점
1. so ~ that 구문을 쓰지 않음: -2
2. 주어진 단어(tired, finish)를 빠뜨림: 단어 하나당 -1
3. 10단어가 아님: -1
4. 시제가 우리말과 다름: -1
5. 철자 오류: 한 단어당 -0.5 (같은 단어 반복은 1회만)
6. 총감점은 배점(4점)을 넘지 않음

2번 답안의 can't도 단어 수로는 1단어입니다. 그래서 2번은 10단어 조건은 지켰고, 철자(tierd)와 시제(can't)가 틀렸습니다.

6번 돌린 결과: 겹치는 줄은 6번 모두 보류했습니다

기준표를 넣은 프롬프트도 AI 가·AI 나에 3번씩, 모두 6번 넣었습니다. 회차마다 무엇을 맞게 했는지 표시하면 이렇습니다.

확인한 것	6회 중
2번 tierd → 2번·5번 겹침이라 보류	6회
2번 can’t → 4번 줄 -1	6회
1번 소문자·마침표 → 감점 없이 둘 다 확인 칸	4회 (1회는 소문자만 적음, 1회는 3번 감점이 섞여 들어옴)
3번 → 1번 줄 -2, 3번 줄 -1	5회
답안끼리 섞지 않음	5회

기준표가 있으니 AI끼리도 같은 답을 냈습니다. 기준표 없이 0점과 2점으로 갈렸던 3번은 6회 중 5회 감점 3점으로 맞춰졌습니다. 4점에서 3점을 빼면 1점입니다.

AI 가는 3번에서 세 번 모두 되물었습니다. too ~ to를 써서 8단어가 됐으니 1번 줄만 적용할지 확인이 필요하다는 내용입니다.

틀린 지적이 아닙니다. 구문 하나를 바꾸면 단어 수도 따라 바뀝니다. 이걸 두 번 깎을지 한 번만 깎을지는 기준표가 정하지 않았습니다.

한 번은 답안을 섞었습니다

AI 나의 첫 회차는 1번 표에 3번 답안의 표현을 넣었습니다. 형식은 완벽했기 때문에 훑어만 봐서는 틀린 줄 모르고 넘어가기 쉬웠습니다.

그 회차의 1번 표와 3번 표는 이랬습니다.

• 1번 표: 문제 된 부분 too tired to finish, 1번 줄 -2, 감점 합계 2점
• 3번 표: 감점 없음, 감점 합계 0점, 선생님 확인 「문장 끝 마침표 누락」

1번 답안에는 too가 없습니다. 3번 답안에는 마침표가 있습니다. → 3번의 감점이 1번으로 옮겨 갔고, 1번의 마침표 지적이 3번으로 옮겨 간 겁니다.

이대로 점수를 옮겨 적었다면 1번은 2점, 3번은 4점 만점이 됩니다. 기준표대로라면 1번은 감점 없음(확인 칸 2건), 3번은 감점 3점이어야 합니다.

그래서 「문제 된 부분」 칸을 따로 둔 겁니다. 이 칸에 적힌 표현이 그 답안 안에 실제로 있는지만 보면 섞임은 바로 잡힙니다.

확인은 답안마다 한 번 짚어 보는 정도입니다.

1. 「문제 된 부분」을 손가락으로 짚고, 위 학생 답안에서 같은 글자를 찾습니다.
2. 없으면 그 표 전체를 버리고, 그 답안만 다시 넣습니다.
3. 「선생님 확인」에 적힌 오류도 그 답안에 실제로 있는지 봅니다.

6회 중 섞인 건 이 1회였습니다. 이 한 회차에서 가상 답안 두 개의 감점이 뒤바뀌었습니다.

AI가 제안한 줄을 넣고 다시 돌렸습니다

프롬프트 끝에 “기준표에 넣으면 좋을 줄을 3개까지 제안하라”고 해 두었습니다. 1판 6회 모두에서 나온 제안은 두 가지였습니다.

• 대소문자·마침표를 깎을지 정해 두기
• 주어진 단어를 철자만 틀린 경우, 2번 줄과 5번 줄 중 어디로 볼지 정해 두기

여기에 AI 가가 되물었던 3번 문제(구문을 바꿔 단어 수가 달라진 경우)를 더해 세 줄을 추가했습니다. 각 줄의 내용은 제가 정했습니다.

7. 주어진 단어를 철자만 틀리게 쓴 것은 2번이 아니라 5번으로 본다
8. 문장 첫 글자 소문자·끝 마침표 빠짐: 합쳐서 -0.5 (한 답안에 1회만)
9. 구문을 바꿔 단어 수가 달라져도 1번과 3번은 따로 감점한다

같은 답안, 같은 AI 두 곳에 3번씩 다시 넣었습니다.

답안	1판 감점 합계	2판 감점 합계 (6회 모두)
1번	0 (감점 0은 5회, 그중 소문자·마침표를 모두 확인 칸에 적은 건 4회)	-0.5 (8번 줄)
2번	-1 + tierd 보류	-1.5 (5번 줄 -0.5, 4번 줄 -1)
3번	-3 (6회 중 5회)	-3 (1번 줄 -2, 3번 줄 -1)

2판에서는 6회 모두 감점 합계가 같았습니다. 답안이 섞인 회차도 없었습니다.

AI 가는 9번 줄이 있는데도 세 번 모두 “두 번 깎는 게 맞는지 최종 판단이 필요하다”고 다시 적었습니다. 감점 합계는 기준표대로 -3을 냈습니다.

프롬프트 규칙 3은 “한 오류를 두 줄로 겹쳐 감점하지 말라”이고, 기준표 9번은 “따로 감점한다”입니다. 둘이 부딪히니 AI 가가 묻는 것도 이해가 됩니다.

그래서 프롬프트에 규칙 한 줄을 더했습니다.

6. 기준표에 겹칠 때 처리 방법이 따로 적혀 있으면 3번 규칙보다 그 줄을 따르세요.

같은 2판 기준표로 두 곳에 3번씩 다시 넣었습니다. 감점은 6회 모두 1번 0.5점·2번 1.5점·3번 3점으로 같았고, 규칙 6 전에 3회 모두 3번을 되물었던 AI 가도 이번에는 한 번도 되묻지 않았습니다.

AI 가는 「없음 (기준표 9번에 따라 … 각각 별도로 감점함)」처럼 따른 줄만 적었습니다.

2판에서 나온 새 제안은 다음 시험 기준표에 쓸 만했습니다.

• could not으로 풀어 쓰면 11단어가 되는데, 단어 수 감점을 할지
• so tired I couldn't처럼 that을 빼면 1번 줄인지 3번 줄인지
• my homework 대신 the homework를 써도 인정할지

셋 다 실제 시험 끝나고 채점 회의에서 나올 법한 질문입니다. 시험 전에 기준표에 한 줄씩 넣어 두면 채점 날 덜 흔들립니다.

새 답안 두 개로 2판을 시험했습니다

2판이 처음 보는 답안에도 버티는지, AI가 제안했던 두 경우를 답안으로 만들어 넣었습니다. 기준표는 2판 그대로 두었습니다.

4번: I was so tired that I could not finish my homework.
5번: I was so tired I couldn't finish my homework.

4번은 couldn't를 could not으로 풀어 써서 11단어입니다. 5번은 that을 빼서 9단어입니다.

답안	AI 가 (2회)	AI 나 (3회)
4번 could not	3번 줄 -1, 2회 모두	3번 줄 -1, 3회 모두
5번 that 생략	감점 0, 선생님 확인으로 보류	1번 줄 -2 + 3번 줄 -1 = -3

AI 가는 세 번 중 한 번 응답이 끝까지 오지 않아, 완성된 출력 2회만 비교했습니다.

4번은 다섯 번 모두 같았습니다. 문항 조건에 “couldn’t는 1단어로 센다”가 있으니 could not은 2단어로 세어 11단어, 3번 줄 -1입니다.

could not은 문법으로는 맞는 표현이라 학생이 억울해할 만한 감점입니다. 문항 조건에 세는 법을 적어 둔 덕분에 다섯 번 모두 같은 줄로 갔습니다.

5번에서 두 AI가 갈렸습니다. 문법으로는 so tired I couldn't처럼 that을 빼는 것도 됩니다. 다만 이 문항은 so ~ that 구문과 10단어를 조건으로 걸었고, that만 빠진 답이 기준표 1번 줄(“so ~ that 구문을 쓰지 않음”)에 해당하는지는 기준표에 없습니다.

• AI 나: that이 빠졌으니 so ~ that을 안 쓴 것으로 보고 1번 줄 -2, 9단어라 3번 줄 -1. 선생님 확인은 「없음」
• AI 가: 1번 줄인지 3번 줄인지 기준표가 정하지 않았다며 감점 0으로 두고, 선택지 네 개(-1, -2, -3, 감점 없음)를 적어 넘김

AI 나의 -3은 틀렸다고 하기 어렵습니다. 다만 기준표가 정하지 않은 것을 AI가 스스로 정했고, 그 사실을 확인 칸에 적지 않았습니다.

이 결과로 3판에 넣을 줄이 하나 생겼습니다. 예를 들어 “so ~ that에서 that만 빠짐: 1번 줄 대신 -1, 3번 줄과 따로 감점” 같은 식입니다. 몇 점으로 할지는 문항을 낸 사람이 정합니다.

채점 기준표 양식

문항 하나에 기준표 한 장, 줄마다 감점은 숫자 하나로 적습니다. 아래는 이 글의 기준표 2판을 빈 양식으로 옮긴 것입니다.

[채점 기준표] 배점 __점
1. (조건 구문)을 쓰지 않음: -__ (다른 구문으로 바꾼 답도 여기)
2. 주어진 단어를 빠뜨림: 단어 하나당 -__ (철자만 틀리면 2번 말고 5번)
3. __단어가 아님: -__ (축약형은 1단어, 1번과 따로 감점)
4. 시제·뜻이 우리말과 다름: -__
5. 철자 오류: 한 단어당 -__ (같은 단어 반복은 1회만)
6. 첫 글자 소문자·끝 마침표 빠짐: 합쳐서 -__ (한 답안에 1회만)
7. 총감점은 배점을 넘지 않음

조건 영작이 아닌 문항에도 같은 틀을 씁니다. 예를 들어 “<보기>의 단어를 알맞은 형태로 바꿔 빈칸을 채우시오” 같은 문항이라면 줄은 이렇게 바뀝니다.

1. <보기>에 없는 단어를 씀: -1
2. 단어는 맞지만 형태(시제·수·품사)가 틀림: -0.5 (1번과 겹치지 않음)
3. 철자 오류: -0.5 (2번에 해당하면 2번만)
4. 빈칸 하나당 위 감점은 그 빈칸 배점을 넘지 않음

위 예시는 이 글을 위해 쓴 것이고, 실행해 보지는 않았습니다. 겹칠 때 어느 줄인지를 줄마다 괄호로 붙여 두는 것이 요점입니다.

이번 실행에서 기준표를 쓸 때 챙길 것이 다섯 가지 나왔습니다.

챙길 것	빠지면 생기는 일 (이번 실행)
감점은 숫자 하나	「-0.5점~-1점」처럼 범위가 나옴
두 줄에 걸칠 때 어느 줄인지	tierd가 6회 모두 보류
대소문자·마침표를 깎는지	1번이 AI마다 3점·4점으로 갈림
축약형·풀어 쓴 말을 몇 단어로 세는지	AI가 can’t 단어 수를 따로 확인 요청
한 원인에서 생긴 두 오류를 따로 깎는지	3번에서 AI 가가 1판·2판 6회 모두 되물음

감으로 깎던 것을 줄로 적어 두는 게 전부입니다. 처음부터 완벽할 필요는 없습니다. 1판을 넣고, 「선생님 확인」에 올라온 것을 다음 판에 줄로 추가하면 됩니다.

프롬프트 전문

아래 전문을 그대로 복사하고, 맨 아래 문항·모범답안·기준표·학생 답안 네 칸만 바꿔 넣습니다. 아래는 규칙 6까지 넣은 판입니다. 1판·2판 12회는 규칙 6 없이, 마지막 6회는 이 판 그대로 돌렸습니다.

아래는 영어 서술형 한 문항과 제 채점 기준표, 학생 답안입니다.
채점 기준표에 적힌 줄만 써서 답안별로 정리해 주세요.

[규칙]
1. 감점은 기준표에 적힌 줄로만 합니다. 기준표에 없는 문제는 감점하지 말고 '선생님 확인'에 적으세요.
2. 감점마다 학생 답안에서 문제가 된 부분을 그대로 옮겨 적고, 기준표 몇 번 줄인지 적으세요.
3. 한 군데 오류를 두 줄로 겹쳐 감점하지 마세요. 두 줄 다 해당할 것 같으면 한 줄만 적용하지 말고 '선생님 확인'에 적으세요.
4. 모범답안과 표현이 달라도 조건과 뜻을 지켰으면 틀렸다고 하지 마세요.
5. 최종 점수는 정하지 마세요. '감점 합계(기준표대로)'까지만 적고 '선생님 확정' 칸은 비워 두세요.
6. 기준표에 겹칠 때 처리 방법이 따로 적혀 있으면 3번 규칙보다 그 줄을 따르세요.

[출력 형식] 답안마다 아래 표 하나와 네 줄
| 문제 된 부분(답안 그대로) | 무엇이 틀렸나 | 기준표 줄 | 감점 |
- 감점 합계(기준표대로):
- 선생님 확인: (기준표에 없거나 애매한 것. 없으면 '없음')
- 고친 문장:
- 선생님 확정: ____

맨 끝에 '기준표에 넣으면 좋을 줄'을 3개까지 제안하세요. 제안만 하고 위 감점에는 쓰지 마세요.

[문항]
(문항 전문과 조건을 그대로)

[모범답안]
(모범답안)

[채점 기준표]
(내 기준표)

[학생 답안]
1번:
2번:
3번:

규칙 여섯 줄은 각각 이번 실행에서 확인한 역할이 있습니다.

규칙	이번 실행에서 한 일
1. 기준표에 있는 줄로만 감점	1번 소문자·마침표를 깎지 않고 확인 칸으로
2. 문제 된 부분을 그대로	답안 섞임을 바로 잡게 해 줌
3. 겹치면 확인으로	tierd를 6회 모두 보류
4. 표현이 달라도 조건·뜻이 맞으면 인정	3번을 “뜻은 통하지만 조건 위반”으로 나눠 적게 함
5. 최종 점수는 비워 두기	섞인 회차의 숫자가 그대로 점수가 되는 걸 막음
6. 기준표의 겹침 처리 줄이 먼저	AI 가의 3번 되묻기 3회 → 0회

답안이 많으면 나눠 넣는 편이 대조하기 쉽습니다. 이 글은 3개씩만 확인했고, 많은 답안을 한 번에 넣었을 때는 돌려 보지 않았습니다.

붙여 넣기 전과 결과를 받은 뒤

붙여 넣기 전에 두 가지, 결과를 받은 뒤에 네 가지를 봅니다.

붙여 넣기 전:

• 이름 대신 번호만 씁니다. 이름과 번호 짝은 선생님 쪽 명단에만 둡니다. 학교명·반·학번도 지웁니다.
• 학생이 쓴 그대로 옮겨 칩니다. 소문자·마침표·철자를 고쳐 치면 AI가 볼 오류가 사라집니다.

결과를 받은 뒤:

1. 「문제 된 부분」이 그 답안 안에 실제로 있는가 (섞임 확인)
2. 「기준표 줄」 번호가 내 기준표의 그 줄 내용과 맞는가
3. 「선생님 확인」에 올라온 것을 정하고, 정한 내용을 기준표 다음 판에 한 줄로 적었는가
4. 감점 합계를 직접 한 번 더해 봤는가

읽을 때 헷갈렸던 곳도 두 가지 있었습니다.

• 감점 합계의 부호가 회차마다 다릅니다. 같은 AI 나도 「감점 합계(기준표대로): 1점」으로 쓴 회차와 「-1점」으로 쓴 회차가 있었습니다. 둘 다 1점을 깎는다는 뜻이라, 배점에서 빼서 옮길 때 부호를 한 번 더 봅니다.
• 「선생님 확인」 길이가 다릅니다. AI 가는 규칙 번호까지 들어 서너 줄로 쓰고, AI 나는 한 줄로 씁니다. 길이보다 실제로 무엇을 짚었는지를 대조합니다.

이 네 가지를 끝낸 뒤에 「선생님 확정」 칸에 점수를 씁니다. AI가 해 주는 일은 답안마다 근거를 찾아 기준표 줄에 붙이는 데까지입니다.

처음 쓸 때는 이 순서로 했습니다.

1. 기준표 1판: 원래 머릿속에 있던 감점을 줄로 적습니다.
2. 답안 몇 개만 먼저: 이름 대신 번호로 바꿔 프롬프트 전문 맨 아래에 붙여 넣습니다.
3. 확인 칸 정리: 「선생님 확인」에 올라온 것을 정하고, 정한 내용을 기준표에 한 줄로 더합니다.
4. 나머지 답안: 고친 기준표로 나머지를 넣고, 결과마다 「문제 된 부분」을 대조합니다.

이번 실행에서는 「선생님 확인」 목록이 그대로 다음 판 기준표가 됐습니다.

써 보기

이 글의 마지막 입력 전문을 그대로 AI 채팅에 붙여 넣어 보세요. 완성 예시 파일을 열어 전부 복사하면 됩니다.

규칙 6줄·2판 기준표·가상 답안 3개가 다 들어 있는 파일입니다. 결과에서 감점이 1번 0.5점·2번 1.5점·3번 3점으로 나오는지(부호는 붙을 수도, 안 붙을 수도 있습니다), 표마다 「문제 된 부분」이 그 답안 안에 있는지 이 글과 대조합니다. 그게 보이면 다음은 이번 시험 서술형 한 문항으로 바꿔 넣을 차례입니다.