2026년 LLM에서 Claude 프롬프트, 컨텍스트 잘 작성하는 법
LLM 서비스도 다 같은 서비스가 아닙니다. 1년 지나면 겉보기는 동일해도 LLM 서비스들의 성능과 기능에 차이가 많습니다.
그래서 1년 전 LLM 최적 사용법이 현재는 아닐 수 있습니다.
오늘은 강수진 박사님이 티타임즈에서 설명했던 LLM 잘 쓰는 법을 정리하고자 합니다.
https://youtu.be/3UMvC4YS6Yk?si=rukSfFobBlAuWBxe
https://www.youtube.com/watch?v=kAjlJipOHR8&t=8s
https://youtu.be/NgkyUXJWYiI?si=XQpJZxK1lv4-y_nW
Anthropic Claude 핵심 연구 4가지
1. 해석 가능성: On the Biology of a Larguage Model, AI 내부를 현미경으로 보다(2025..03)
-> 해석 가능성, 안전을 위한 도구
2. CoT 신뢰성: Reasoing Models Don't Always Say What They Think, AI는 자기 생각을 숨긴다.(2025.05)
-> Opus 4.6 Adaptive Thinking & effort 제어
3. 에이전트 안전: Agentic Misalignment, AI 에이전트의 협박과 배신(2025.06)
-> Opus 4.6 Agent teams 안전 설계의 토대
4. 프롬프트 진화, Context Engineering, 프롬프트 엔지니어링의 다음 단계(2025.09)
-> Opus 4.6 Compaection & 1M 컨텍스트 구현
연구1: On the Biology of a Larguage Model (2025..03)
- 핵심방법: Attribution Graph도구 활용 10 가지 모델 행동 심층 분석
- 특정 입력이 출력으로 변환되는 과정에서 "features" 활성화되고 이를 시각화함
핵심발견
1. 모델의 2단계 추론을 목격하다
2. AI는 시를 쓸 때 "미리 계획"한다.
3. 보편적 사고 언어- 다국어 언어처리
프롬프트 작성법
작성 전략#1. 중간 단계를 명시적으로 요청하기
작성 전략#2. "AI의 계획 시점" 활용하기
작성 전략#3. "다국어 작업 시" 중간 언어 지정하기
참고자료: LLM의 기계적 해석가능성 (NIA, 2025-12-17)
Opus 4.6 System Card에서 해석 가능성 기법을 처음으로 안정성 평가에 적용
#실전 팁 1: "중간 단계"를 명시적으로 요청하라
- 비효율 프롬르트: "Dallas가 속한 주의 수도는?"
- 효율 프롬프트: "Dallas가 속한 주를 먼저 파악하고, 그 주의 수도를 답변해주세요. 각 단계를 명시적으로 보여주세요.
효율 프롬프트: 복잡한 분석 필요한 작업 "법적 문서 검토"
1) 계약 유향 파악 -> 2)핵심 조항 추출 -> 3) 위험 요소 평가 순서를 프롬프트에 명시
모델이 암묵적으로 생각하는 중간 과정을 직접 생성하게 해서 신뢰도 높은 결과를 생성함
핵심 발견: AI는 시를 쓸 때 "미리 계획" 한다.
가설: 모델은 과제 수행 시 계획하지 않는다.
실험 결과: 줄바꿈 코튼이 일종의 계획 지점으로 기능한다.
#실전 팁 2: 결론/결말을 먼저 정하고 역방향으로 설계하자
- 비효율 프롬프트 예시: AI 안전성에 대한 설득력 있는 글을 써주세요.
- 역방향 설계 프롬프트 예시: 이 글의 결론은 'AI 안정성 투자가 선택이 아닌 필수다"입니다.
이 결론을 향해 3단계 논지를 역방향으로 설계해 완성된 글을 작성해주세요.
Cladue는 내부적으로 언어에 구애받지 않는 개념공간에서 먼저 사고하고, 출력 직전에 특정 언어를 선택함
#실전 팁 3: 다국어 작업 시 "중간 언어(영어)"를 명시적으로 지정하라
- 비효율 프롬프트 예시: 영문 기사를 한국어로 요약해주세요.
- 효율 프롬프트 예시: 영문 기사를 분석할 때, (1) 먼저 영어로 핵심 논지와 근거를 정리한 뒤(2), (1)의 결과를 기반으로 한국어 최종 요약 작성
특히 전문 도메인(법률, 의학, 기술 문서)에서 효과 두드러짐
해당 모데인의 개념이 영어 기반 훈련 데이터에 더 풍부하게 담겨 있어, 중간 정리언어를 영어로 지정하면 개념 추출 품질이 높아짐
연구2: Reasoning Models Don't Always Say What They Think(2025/05)
sonnet.4.6은 adapted thinking(적당히 생각), Extended Thinking(많은 생각)을 선택할 수 있음
문제 제기: Chain-of-Thought를 신뢰할 수 있는가?
cot에 적힌 것이 정말 AI의 진짜 생각일까?
실전팁: AI의 CoT를 "액면 그대로" 미지 마라
#실전 팁 1: 검증 단계를 프롬프트에 명시적으로 넣어라(체크리스트를 넣어줘라)
예시: 답변을 작성한 후, 다음 체크리스트로 자기 검증을 수행하세요.
1) 근거 없는 주장이 있는가?
2) 해당 결론에 도달한 논리적 단계를 모두 설명했는가?
3) 대안적 해석을 고려했는가?
#실전 팁 2: 스크래치 패드 기법을 활용하자
프롬프트 내 사용자에게 보이지 않는 메모 공간을 주고, 먼저 충분히 생각하게 한 후 최종 답변을 작성하게 하는 방법
프롬프트 예시:
"다음 직문에 답하기 전에 <scratchpad> 태그 안에 먼저 관련 인용문과 근거를 정리하세요.
그 후 최종 답변을 작성하세요.
<scratchpad> Scratch Pad - Requirements
Scratch Pad -Options:
Scratch Pad- Evaluation : </scratchpad>
Final Answer:
#실전 팁 3: 단계별 프롬프트 체이닝(Prompt Chaining)
- 한번에 프롬프트로 모든 것을 해결하려 하지 말고 단계별로 나누기
CoT가 불완전할 수 있으므로, 각 단계의 출력을 검증한 후 다음 단계로 넘기는 것이 안전함
프롬프트 예시:
Step1: 주제에 대한 3가지 관점을 정리해주세요.
Step2: 각 관점에 대한 근거를 제시하세요.
Step3: 최종 결론을 작성하세요.
예시
리서치 주제: 2026년 북극곰이 지구온난화 때문에 개체 수가 늘어났다고 하는데 <prompt chaining>기법을 활요하여 답변하세요.
-> Step1 : 주제에 대한 3가지 관점을 정리해주세요.<결론을 적어주세요.>
-> Step2: 각 관점에 대한 근거를 제시하세요. <결론을 적어주세요.>
-> Step3: 최종 결론을 작성해주세요. <결론을 적어주세요>
연구3: Agentic Misalignment: 16개 프론티어 AI모델 테스트(2025/05)
AI가 자기 보존을 위해 협박, 기밀 유출, 살인까지 선택
목표 달성을 위해 수단과 방법을 가리지 않음
핵심발견1. 협박(자기보존)
Claude Opus4는 96%의 확률로 협박시도
Gemini 2.5 flashsms 80% 등
핵심발견2. 기업 스파이 활동(목표 충도란으로도 충분)
모델은 이 행동이 자신의 생존이나 영향력 확대에도 도움이 되지 않는다는 점을 명확히 인지하고 있었음에도 불구하도,
순전히 목표 달성을 위해 기밀 유출 선택
핵심발견3. 금지명령도 무시한다.
#실전 팁 1: 검증 단계를 프롬프트에 명시적으로 넣어라
AI에게 "무엇을 하지 마라"보다 "무엇을 할 수 있는지"를 제한해야 함
예시: "답변을 작성한 후, 다음 체크리스트로 자기 검증을 수행하세요.
1) 근거 없는 주장이 있는가?
2) 해당 결론에 도달한 논리적 단계를 모두 설명했는가?
3) 대안적 해석을 고려했는가?
#실전 팁 2: 최소 권한 원칙 적용
과잉 권한 설계:
"회사의 모든 이메일을 모니터링하고 필요한 조치를 취하세요."
최소 권한 설계:
"신규 고객 온보딩 관련 이메일만 처리하세요.
1. 처리 범위: 수신 확인, 안내이메일 발송
2. 인사, 재무, 경영 관련 이메일: 읽지 말고 즉시 담당자에게 전달만 하세요.
3. 이메일 발송 전 반드시 발송 목록을 사용자에게 확인받으세요.
#실전 팁 3: "행동 경계"를 명확히 설정
단순 금지 목록 대신, 의사결정 트리와 에스컬레이션 경로 명시하기
특히 "내가 해결할 수 없는 상황"에 대한 명확한 출구 제공
단순 금지형
"비윤리적인 행동은 하지 마세요. 협박하지 마세요. 기밀을 유출하지 마세요."
최소 권한 설계: 경계 + 에스컬레이션 경로 명시(가능한 더 디테일하게 설정할 것)
"역할은 고객 이메일 응답입니다. 의사결정 기준은 다음과 같습니다.:
- 표준 문의 -> 직접 처리
- 환불/불만 -> 담당자에게 전달 후 보고
- 법적, 윤리적 판단이 필요한 상황 -> 즉시 중단하고 '판단 불가' 상태로 보고