영어 해설서 AI 프롬프트 수정 실험: 문법 규칙·구간 수·어휘 난도 한 줄씩 바꿔 본 결과

핵심

문법 규칙 두 줄 추가 → 평균 3.89 → 4.19점
구간을 정확히 4개로 고정 → 3.56점, 참/거짓 실수도 나왔습니다
어휘 난도 한 줄 추가 → 단어 10개 중 6~9개는 기본과 같았습니다

해설서 만들기의 「프롬프트」 탭 지시문은 영어로 11,049자입니다. 어느 줄을 고치면 결과가 바뀌는지 재 봤습니다.

지문 하나로 지시문마다 세 번씩 돌린 결과라, 다른 지문에서도 같다는 보장은 없습니다.

고칠 수 있는 줄, 서버가 붙이는 줄

탭 안의 1만 1천 자는 고칠 수 있고, 서버가 붙이는 다섯 문장은 못 고칩니다.

탭 안의 줄	해설서에서 보이는 곳
구간 수 (8문장 이상이면 4~6구간)	1·2쪽 노선도의 정거장
출제 포인트 (지문 속 표현을 붙여 짧게)	3쪽 맨 위 한 줄
구문 노트 (숙어·구동사 먼저)	3쪽 문장별 노트
어휘 (8개 이상, 사전 기본형)	3쪽 어휘표

서버 쪽 다섯 문장은 결과 형식(JSON)과 “지문에 있는 사실만” 같은 범위를 정합니다.

서버 검사 → 어긋나면 한 번 다시 쓰기 → 또 어긋나면 실패 안내.

「프롬프트」 탭의 11,049자와 서버가 붙이는 형식 규칙 다섯 문장이 함께 GPT Luna로 들어가고, 서버 검사에서 어긋나면 한 번 다시 쓰게 하며 두 번째에도 어긋나면 실패 안내가 나오는 흐름

실험: 줄 하나씩 바꿔 세 번씩

규칙 두 줄을 더한 V1이 가장 높았고, 구간을 4개로 묶은 V2가 가장 낮았습니다.

지난 글과 같은 자작 지문(11문장)으로, 지시문 4가지 × 3번 = 12부를 GPT Luna로 뽑았습니다.

V0: 기본 그대로
V1: 두 줄 추가 — “절 전체의 역할과 절 안의 주어·목적어를 구분”, “출제 포인트엔 지문에 있는 구조만”
V2: “1~2문장마다 한 구간, 4~6구간…” 규칙 → “정확히 4구간”으로 교체
V3: 한 줄 추가 — “어휘는 고1 수준 이상만”

채점은 Claude Opus와 GPT Sol이 이름을 가린 채 여섯 항목을 5점 만점으로 매겼습니다.

지시문	평균	세 번의 범위	구문	구간	바로 나눠 줄 수 있나
V0 기본	3.89	3.50–4.25	3.33	4.17	3.50
V1 규칙 두 줄	4.19	4.08–4.33	4.00	4.33	3.83
V2 정확히 4구간	3.56	3.33–3.67	3.83	3.67	2.67
V3 고1 이상 어휘	3.78	3.50–4.17	3.50	3.83	3.33

지시문 네 가지의 평균 점수와 세 회차 점수. 문법 규칙 두 줄을 더한 V1이 4.19로 기본 3.89보다 높고, 정확히 4구간으로 묶은 V2는 3.56으로 가장 낮다

12번 모두 첫 시도에 통과했고, 한 부에 평균 64~74초, 약 4~6원(1달러 1,450원)이 들었습니다.

지난 글의 Luna 2.92점은 채점 묶음과 문장 나누는 방식이 달라 나란히 놓지 않습니다.

올린 줄: 지문에서 볼 곳을 가리키는 규칙

V1에서는 what절의 안과 밖을 함께 적은 회차가 늘었습니다.

“People forget what you served them”에서 what은 served의 목적어(안), 절 전체는 forget의 목적어(밖)입니다.

회차	what절 노트에 적힌 설명
V0-1	what은 served의 목적어
V0-2	(what절 노트 없음)
V0-3	절 전체는 forget의 목적어
V1-1	what은 served의 목적어이고, 절 전체는 forget의 목적어
V1-2	절 전체는 forget의 목적어, what은 served의 목적어
V1-3	forget의 목적어 역할

기본은 한 번 빠뜨리고 두 번은 한쪽만, V1은 세 번 중 두 번 둘 다 적었습니다.

what to cook(의문사+to부정사)을 knew의 목적어로 짚은 노트도 V1-1·V1-2에만 나왔습니다.

실제 해설서의 5번 문장 구문 노트 비교. 기본 지시문 V0-1은 what이 served의 목적어라는 안쪽만, V0-3은 절 전체가 forget의 목적어라는 바깥만 적었고, 규칙 두 줄을 더한 V1-2는 둘을 함께 적었다

내린 줄: 구간 수를 못 박기

구간을 4개로 못 박은 V2는 ‘바로 나눠 줄 수 있나’가 가장 낮았습니다. 기본 3.50 → 2.67점입니다.

기본 지시문으로도 4구간이 허용되지만, Luna는 기본으로 세 번 모두 6구간을 썼습니다(한 번은 화면에서 마지막 두 구간이 합쳐져 5정거장으로 보임).

해설서 1쪽 노선도 비교. 기본 지시문 V0-1은 정거장 6개, 정확히 4구간으로 묶은 V2-3은 정거장 4개다

V2에서 나온 실수입니다.

구간(V2-1): Opus 채점자 “4개로 거칠다”
참/거짓(V2-3): “My grandmother initially believed…”를 참 처리 → 원문 “For years I assumed…”에서 그렇게 생각한 건 ‘나’
해석(V2-2): “no one quite knew” → “아는 사람은 거의 없었다” (원문 뜻은 “아무도 제대로 몰랐다”)

구간 규칙이 이 실수들을 불렀는지는 가를 수 없습니다. 다만 V2 최고 회차 3.67도 기본 평균 3.89에 못 미쳤습니다.

어휘 난도 줄: 남은 단어와 바뀐 단어

“고1 수준 이상”을 넣어도 단어 10개 중 6~9개는 기본에서 나온 단어였습니다.

assume·host·relative·decade·gather → V0·V3 여섯 번 모두 나옴
V3에서 기본에 없던 단어 → 회차별 1개·3개·4개 (argue, produce, sink 등)
drawer·guest → 기본 세 번 모두 나옴 → V3에서는 0번

어휘 점수는 3.83 → 4.00, 전체 평균은 3.78이었습니다.

“고1 수준”을 정의하지 않아 실제로 어려워졌는지는 재지 못했습니다.

선생님이 고친다면

지문 속 구조를 가리키는 줄부터 넣고, 개수를 못 박는 줄은 조심하세요.

지문에서 볼 곳을 가리키는 규칙 → 이번 최고점(V1). 두 줄을 함께 넣어 어느 줄 덕인지는 가를 수 없습니다.
개수를 못 박는 줄 → 이번 지문에서는 범위를 준 기본 지시문이 더 높았습니다.
고칠 때마다 같은 지문으로 두세 번 → 기본도 3.50~4.25점으로 흔들렸습니다. 한 번 뽑고 판단하면 우연을 효과로 착각하기 쉽습니다.

핵심

V1의 두 줄은 지시문 맨 끝에 그대로 붙이면 됩니다. 우리 반이 자주 틀리는 구조도 같은 방식으로 한 줄 더 적어 보세요.

고칠 수 있는 줄, 서버가 붙이는 줄

실험: 줄 하나씩 바꿔 세 번씩

올린 줄: 지문에서 볼 곳을 가리키는 규칙

내린 줄: 구간 수를 못 박기

어휘 난도 줄: 남은 단어와 바뀐 단어

선생님이 고친다면

관련 글