AI '깊게 생각하기'를 켜면 해설서가 좋아질까: 7개 모델 낮음·보통·높음

지난 글과 같은 지문·지시문에서 생각의 양만 바꿨습니다.

각 회사의 개발자용 명령줄 도구에서 추론 강도를 낮음·높음으로 정했습니다(앱 메뉴와는 다릅니다). AI 7개 × 2단계 = 14부입니다.

낮음과 높음, 점수·시간·비용

5개 오름, 1개 그대로, 1개 내림.

왼쪽이 낮음, 오른쪽이 높음입니다. 점수는 ClaudeClaude 클로드 Anthropic이 만든 AI 모델 이름. 크기에 따라 Opus·Sonnet·Haiku로 나뉩니다.눌러서 용어 설명서 보기 → OpusOpus 오퍼스 Claude 중 가장 크고 똑똑한 모델. 가장 꼼꼼하지만 비싸고 느린 편입니다.눌러서 용어 설명서 보기 →·GPTGPT 지피티 OpenAI가 만든 AI 모델 이름. ChatGPT 안에서 돌아가는 모델입니다.눌러서 용어 설명서 보기 → SolSol 솔 OpenAI GPT 계열의 상위 모델 중 하나. 깊게 생각하는 작업에 강합니다.눌러서 용어 설명서 보기 →이 이름을 가리고 여섯 항목을 5점 만점으로 매긴 평균입니다.

AI	점수	시간	한 부 비용(추정)
LunaLuna 루나 OpenAI GPT 계열의 가볍고 저렴한 모델. 이 블로그의 해설서 도구가 쓰는 모델입니다.눌러서 용어 설명서 보기 →	2.92 → 3.75	19 → 27초	2.6 → 3.4원
Gemini FlashGemini 제미나이 Google이 만든 AI 모델 이름. Flash는 그중 빠르고 저렴한 쪽입니다.눌러서 용어 설명서 보기 →	3.58 → 4.33	37 → 150초	38 → 161원
Opus	4.33 → 4.92	33 → 85초	151 → 321원
SonnetSonnet 소넷 Claude의 중간 크기 모델. 성능과 속도·가격의 균형형입니다.눌러서 용어 설명서 보기 →	3.67 → 4.17	26 → 55초	76 → 133원
HaikuHaiku 하이쿠 Claude 중 가장 작고 저렴한 모델. 빠르고 값이 쌉니다.눌러서 용어 설명서 보기 →	3.92 → 4.08	57 → 141초	11 → 26원
AstraAstra 아스트라 OpenAI GPT 계열 모델 중 하나. 이 블로그 비교에서는 점수 2위였습니다.눌러서 용어 설명서 보기 →	4.67 → 4.67	66 → 84초	332 → 362원
Sol	4.83 → 4.33	87 → 118초	68 → 86원

• Luna: +0.83점, 값은 1원도 안 늘어남
• Gemini: +0.75점, 대신 시간·비용 4배 넘게
• Sol: 오히려 4.83 → 4.33점

시간과 비용은 7개 모두 늘었습니다.

비용 = 입력 8,000토큰토큰 token AI가 글을 세는 단위로, 요금도 토큰 수로 매깁니다. 로그인 글에서는 접속을 증명하는 출입증을 뜻합니다.눌러서 용어 설명서 보기 → 가정 + 생각·답 출력, 공개 단가와 1달러 1,450원으로 셈한 추정치입니다(실제 청구액 아님). 14부 모두 10월 10일에 만들었습니다.

‘보통’은 왜 따로 봐야 하나

보통 점수에는 생각의 양 말고 다른 차이가 섞여 있습니다.

보통 7부는 지난 글(10월 9일) 때 만든 것을 다시 채점했습니다(Luna 3.00 ~ Opus 4.33).

예전 문장 나누기 → 5부가 “Mr. Han” 메모 한가운데서 잘림 → 채점자 감점.

그래서 같은 날 같은 도구로 만든 낮음·높음만 나란히 봤습니다.

생각을 길게 시키면 무엇이 바뀌었나

고쳐진 곳도, 새로 생긴 문제도 있었습니다.

Opus: 기간 표현이 바뀜

• Over five decades: 낮음 “50년이 넘는 세월 동안” → 높음 “50년에 걸쳐”
• over엔 “~보다 많은” 뜻도 있어 오역이라 못 박긴 어렵지만, 흐름상 “~에 걸쳐”가 자연스럽고 두 채점자도 낮음을 감점
• 구문 노트 6개 → 8개, 채점 4.83·5.00점

Luna: 틀린 정답을 고침

낮음 참/거짓 2번은 “The narrator assumed for years that the notebook contained recipes for cooking guests.”였습니다.

• 문장: for가 빠져 “손님을 요리하는”으로도 읽힘
• 정답: 원문 For years I assumed it was a list of recipes → 화자의 짐작이니 참. 해설은 “공책 안에는 요리법이 없었다”며 거짓 처리
• 높음: 다른 문장으로 다시 묻고 정답 참

구문 노트는 3개 → 6개. 채점자들은 구동사 풀이 위주라고 봤습니다.

Sonnet: 높음에서 뜻이 바뀜

no one quite knew what to cook은 “무엇을 요리해야 할지 제대로 아는 사람이 아무도 없었다”에 가깝습니다.

• 낮음 “아는 사람이 아무도 없었다”: quite(제대로) 느낌은 빠졌지만 뜻은 지킴
• 높음 “아는 사람이 거의 없었다”: 아무도 몰랐다 → 몇 명은 알았다

종합 점수는 높음이 앞섰습니다. 낮음이 almost를 빼고 “50년간 모든 손님의 기록”이라 쓰는 등 구간·구문에서 더 깎였거든요.

Haiku: 3배 생각, 0.17점

• over five decades: 낮음 “오십 년에 걸쳐” → 높음 “오십 년 넘게”(두 채점자가 지적)
• 생각 토큰생각 토큰 reasoning tokens AI가 답을 쓰기 전에 속으로 따져 보는 데 쓰는 토큰. 화면에는 안 보여도 요금에는 들어갑니다.눌러서 용어 설명서 보기 → 10,488개 → 30,877개(약 3배) → 점수는 반올림 전 기준 약 0.17점 상승

Sol: 구문 설명이 얕아짐

• 낮음: could have+과거분사, 명사 뒤 현재분사(cousins chopping)까지 짚음
• 높음: pass away, be full of 같은 숙어 위주 → 두 설명이 빠짐
• what절 설명은 둘 다 없었음

선생님이 ‘깊게 생각’을 고를 때

싼 AI는 높음을 켜도 부담이 작았고, 비싼 AI는 낮음도 값을 했습니다.

지문 하나, 설정마다 한 번 돌린 이번 결과 기준입니다.

• 싼 AI 높음: Luna 약 3.4원, Haiku 약 26원
• 비싼 AI 낮음: Astra는 높음과 같은 점수, Sol 낮음은 약 68원에 4.83점(2위)
• 채점 평균 1위는 Opus 높음: 약 85초, 약 321원에 4.92점
• 급할 땐 낮음: 7개 모두 더 빨랐음. Opus 낮음 33초에 4.33점, Gemini는 높음에서 37초 → 150초
• 어느 쪽이든 해석은 원문과 직접 대조하셔야 합니다.