1편 먼저 보기: AI 기초 개념 정리와 직접 만든 예상 문제 28개 (1편)
핵심 요약
이 글은 AI 기초 개념 정리와 직접 만든 예상 문제의 2편입니다. 1편과 겹치는 문제는 빼고, 같은 개념이라도 다른 각도로 묻는 4지선다 객관식 28문제를 10개 묶음으로 정리했습니다. 먼저 내 답을 정한 뒤, 문제 바로 아래의 토글을 열어 정답과 해설을 확인해 보세요.
- 블로그에 없는 내용은 일반적으로 받아들여지는 설명으로만 썼고 **(보충)**으로 표시했습니다. 해설 끝의 (191) 같은 숫자는 근거가 된 블로그 글 번호입니다.
- 시작 글: donggrri.tistory.com/200 — 이 글에서 이어지는 AI 공부 글들을 출처로 삼았습니다.
Temperature와 Top-p는 확률 분포를 어떻게 바꿀까요?
핵심 포인트
- temperature는 logit을 T로 나눠서 분포의 모양을 바꿉니다. T를 낮추면 뾰족해지고(1등 쏠림), 높이면 평평해집니다(다양함, 엉뚱한 답도 늘어남).
- T로 나눠도 토큰의 순위는 그대로입니다. 바뀌는 건 확률 차이의 크기입니다.
- top-p는 누적 확률이 p 이상이 될 때까지의 최소 후보만 남깁니다. top-k는 후보 개수가 고정입니다.
Q1. temperature를 1.0에서 2.0으로 올렸을 때 일어나는 변화로 알맞은 것은?
- A. 1등 토큰의 확률이 더 커져서 답이 더 일정해진다
- B. 분포가 평평해져서 순위가 낮은 토큰도 뽑힐 가능성이 커진다
- C. 남는 후보 토큰 수가 정확히 2배가 된다
- D. 모델 가중치가 바뀌어 다른 모델이 된다
정답과 해설 보기
정답: B
T를 높이면 분포가 평평해져서 답이 다양해지고 엉뚱한 답도 나올 수 있습니다. 가중치는 그대로입니다. (191)
Q2. 로짓이 2.0 / 1.0 / 0.5 / 0 / −1.0일 때, 1등 토큰 확률은 T=0.5에서 약 0.83, T=2.0에서 약 0.37입니다. 이 결과로 알 수 있는 것은?
- A. T가 높을수록 1등 토큰에 확률이 몰린다
- B. temperature는 후보 토큰의 개수를 정하는 값이다
- C. T가 낮을수록 분포가 뾰족해져서 1등 토큰에 확률이 몰린다
- D. T를 바꾸면 토큰 순위가 뒤집힐 수 있다
정답과 해설 보기
정답: C
T가 낮으면 1등에 확률이 몰려 greedy에 가까워집니다. 양수 T로 나누기만 하니까 순위는 바뀌지 않습니다. 후보 범위를 정하는 건 top-k·top-p입니다. (191)
Q3. 다음 토큰 확률이 0.50 / 0.30 / 0.10 / 0.06 / 0.04입니다. top-p = 0.85로 샘플링하면 후보로 남는 토큰은 몇 개인가?
- A. 2개
- B. 4개
- C. 5개
- D. 3개
정답과 해설 보기
정답: D
누적 확률이 0.50 → 0.80 → 0.90이라 세 번째에서 처음으로 0.85를 넘습니다. 그래서 3개입니다. (191)
Decode가 느린 이유와 KV Cache의 역할은 무엇일까요?
핵심 포인트
- Prefill은 프롬프트를 한꺼번에 처리해서 연산 중심(compute-bound)입니다. Decode는 토큰을 하나씩 만들 때마다 가중치와 K·V를 메모리에서 다시 읽어서 메모리 대역폭 중심(memory-bound)입니다.
- 그래서 Decode는 계산보다 메모리를 기다리는 시간이 길고, HBM 같은 고대역폭 메모리가 중요합니다.
- KV Cache는 앞 토큰의 K·V를 다시 계산하지 않게 저장해 두는 것입니다. 대신 Context가 길수록 메모리를 많이 차지합니다.
Q4. 프롬프트 길이는 같고, 답변 길이만 100토큰에서 1,000토큰으로 늘렸습니다. 응답 시간이 크게 늘어나는 주된 이유는?
- A. Decode는 토큰마다 한 단계씩 반복되고, 단계마다 가중치와 K·V를 메모리에서 다시 읽어야 해서
- B. Prefill 단계의 연산량이 10배로 늘어나서
- C. 토크나이저가 출력 토큰을 다시 학습해서
- D. 답변이 길어지면 임베딩 차원이 커져서
정답과 해설 보기
정답: A
답변 토큰은 Decode에서 하나씩 차례로 만들어지고, 토큰마다 메모리 읽기가 반복됩니다. 프롬프트가 같으니 Prefill 부담은 그대로입니다. (186)
Q5. Decode 단계의 속도를 높이는 데 가장 직접적으로 도움이 되는 것은?
- A. temperature를 낮춘다
- B. 프롬프트를 더 길게 써서 GPU 코어를 꽉 채운다
- C. 메모리 대역폭을 높인다(HBM 등)
- D. CPU 코어 수를 몇 개 더 늘린다
정답과 해설 보기
정답: C
Decode는 memory-bound라서 메모리에서 얼마나 빨리 읽어 오느냐가 병목입니다. temperature는 토큰을 고르는 규칙일 뿐입니다. (186)
Q6. KV Cache를 쓰지 않고 Decode를 하면, 새 토큰을 만들 때마다 어떤 낭비가 생기는가?
- A. 토크나이저 어휘를 매번 새로 만든다
- B. 앞 토큰들의 K·V를 매번 처음부터 다시 계산한다
- C. 모델 가중치를 매번 다시 학습한다
- D. Softmax를 건너뛰어서 정확도가 떨어진다
정답과 해설 보기
정답: B
KV Cache는 앞 토큰의 K·V를 한 번 계산해 두고 다시 쓰는 장치입니다. 대신 Context가 길어질수록 캐시가 커져서 메모리 부담이 늡니다. (186)
출처: donggrri.tistory.com/186 , donggrri.tistory.com/189
지도·비지도·강화학습과 회귀·분류는 어떻게 구분할까요?
핵심 포인트
- 지도학습은 라벨(정답)로 입력과 출력의 관계를 배웁니다. 비지도학습은 라벨 없이 패턴이나 군집을 찾습니다. 강화학습은 시행착오로 보상을 최대화하는 행동을 익힙니다.
- (보충) 지도학습에서 숫자(연속값)를 맞히면 회귀, 범주를 맞히면 분류입니다. “예/아니오”도 범주라서 분류입니다.
- 군집화와 회귀를 가르는 건 라벨이 있느냐와 **무엇을 내놓느냐(그룹 vs 숫자)**입니다.
Q7. 로봇이 넘어지면 감점, 오래 서 있으면 점수를 받으면서 시행착오로 걷는 법을 익힙니다. 어떤 학습 방식인가?
- A. 비지도학습 – 군집화
- B. 지도학습 – 회귀
- C. 지도학습 – 분류
- D. 강화학습
정답과 해설 보기
정답: D
환경 안에서 시행착오를 거치며 보상을 최대화하는 행동을 배우는 건 강화학습입니다. (214)
Q8. 과제와 학습 방식의 짝이 틀린 것은?
- A. 내일 비가 올지(예/아니오) 예측 – 지도학습 회귀
- B. 다음 달 전력 사용량(kWh) 예측 – 지도학습 회귀
- C. 라벨 없는 고객 데이터를 비슷한 그룹으로 묶기 – 비지도학습 군집화
- D. 이메일이 스팸인지 아닌지 판별 – 지도학습 분류
정답과 해설 보기
정답: A
예/아니오는 범주라서 회귀가 아니라 분류입니다. 숫자를 맞히면 회귀, 범주를 맞히면 분류입니다. (214, 회귀·분류 구분은 보충)
Q9. 같은 장비 센서 데이터로 두 가지 일을 하려 합니다. (가) 라벨 없이 비슷한 운전 패턴끼리 묶기, (나) 과거 기록의 “고장까지 남은 시간(시간 단위)“을 정답으로 삼아 그 시간을 예측하기. 알맞은 짝은?
- A. (가) 지도학습 회귀, (나) 비지도학습 군집화
- B. (가) 지도학습 분류, (나) 강화학습
- C. (가) 비지도학습 군집화, (나) 지도학습 회귀
- D. (가)와 (나) 모두 군집화
정답과 해설 보기
정답: C
라벨 없이 묶는 건 군집화(비지도)이고, 정답 숫자로 연속값을 예측하는 건 회귀(지도)입니다. (214, 회귀는 보충)
출처: donggrri.tistory.com/214 (회귀·분류 구분은 보충)
과적합은 어떻게 알아보고 줄일까요?
핵심 포인트
- 과적합은 학습 데이터를 너무 외워서 새 데이터 성능이 떨어지는 현상입니다.
- (보충) 학습 손실은 계속 내려가는데 검증 손실이 어느 순간부터 올라가면 과적합 신호입니다.
- (보충) 대책은 데이터 늘리기, 정규화, 조기 종료(early stopping) 같은 방법입니다. MoE 같은 Sparse 모델은 과적합에 더 취약한 편입니다(197).
Q10. 학습을 계속할수록 학습 손실은 꾸준히 줄어드는데, 검증 손실은 20 에폭쯤부터 다시 늘어납니다. 가장 알맞은 해석과 대응은?
- A. 과소적합이니 학습을 훨씬 더 오래 한다
- B. 데이터 누수이니 평가 데이터를 학습에 더 넣는다
- C. 정상적인 현상이니 끝까지 학습한 모델을 쓴다
- D. 과적합이 시작된 것이니 검증 손실이 가장 낮던 시점에서 멈춘다(조기 종료)
정답과 해설 보기
정답: D
학습 데이터만 더 잘 외우고 새 데이터 성능은 떨어지는 과적합입니다. 검증 손실이 가장 낮을 때 멈추는 게 조기 종료입니다. (214, 조기 종료는 보충)
Q11. 과적합을 줄이는 방법으로 가장 거리가 먼 것은?
- A. 학습 데이터를 더 모은다
- B. 같은 적은 데이터로 모델을 훨씬 크게 만들고 더 오래 학습한다
- C. 정규화(regularization)를 쓴다
- D. 검증 데이터를 보면서 일찍 멈춘다
정답과 해설 보기
정답: B
데이터는 그대로인데 모델을 키우고 오래 학습하면 더 잘 외워서 과적합이 심해질 수 있습니다. 나머지는 대표적인 대책입니다. (보충)
출처: donggrri.tistory.com/214 , donggrri.tistory.com/197 (신호와 대책은 보충)
정밀도와 재현율은 언제 무엇을 볼까요? (보충)
핵심 포인트 (보충)
- 정밀도 = 모델이 양성이라고 한 것 중 진짜 양성의 비율 = TP / (TP + FP). 헛경보를 줄이고 싶을 때 봅니다.
- 재현율 = 진짜 양성 중 모델이 잡아낸 비율 = TP / (TP + FN). 놓치면 안 될 때 봅니다(질병 선별, 불량 검출).
- 양성이 아주 적은 불균형 데이터에서는 정확도만 보면 속기 쉽습니다.
Q12. 검사 대상 중 실제 불량이 100개입니다. 모델은 그중 80개를 불량으로 잡았고, 정상품 40개도 불량이라고 잘못 판정했습니다. 재현율은?
- A. 0.80
- B. 0.67
- C. 0.40
- D. 0.20
정답과 해설 보기
정답: A
재현율은 실제 불량 100개 중 잡아낸 80개라서 80/100 = 0.80입니다. 0.67(80/120)은 정밀도입니다. (보충)
Q13. 질병 1차 선별 검사처럼 환자를 한 명이라도 놓치면 안 되는 상황에서 가장 우선해서 봐야 할 지표는?
- A. 정밀도
- B. 학습 손실
- C. 정확도
- D. 재현율
정답과 해설 보기
정답: D
놓치는 경우(FN)를 줄여야 하니까 재현율이 우선입니다. 헛경보를 줄이는 게 중요할 때는 정밀도를 봅니다. (보충)
Q14. 제품 1,000개 중 불량이 10개입니다. 어떤 모델이 모든 제품을 “정상”이라고 판정했습니다. 이 모델에 대한 설명으로 맞는 것은?
- A. 정확도가 99%이므로 불량 검출용으로 충분하다
- B. 재현율이 99%다
- C. 정확도는 99%지만 불량을 하나도 못 잡아 재현율은 0%다
- D. 정밀도와 재현율이 모두 100%다
정답과 해설 보기
정답: C
990개를 맞혀 정확도는 99%지만, 실제 불량 10개 중 잡은 게 0개라 재현율은 0%입니다. 불균형 데이터에서 정확도만 보면 안 되는 이유입니다. (보충)
제로샷·퓨샷·CoT는 모델을 바꿀까요?
핵심 포인트
- 제로샷은 예시 없이 지시만 줍니다. 빠르지만 어려운 작업에서는 결과가 들쭉날쭉할 수 있습니다.
- 퓨샷은 예시 두세 개로 패턴을 보여 줍니다. 분류, 형식 맞추기, 톤 잡기에 강합니다.
- 셋 다 프롬프트 기법이라 모델 가중치는 그대로입니다. 예시는 그 요청의 입력으로만 들어갑니다.
- CoT는 단계별로 생각하게 하는 것입니다. 도구가 단계를 관리하는 게 아니라, 프롬프트 한 줄로 모델이 스스로 하게 만듭니다.
Q15. 예시 없이 “다음 리뷰를 긍정/부정으로 분류해”라고만 지시했더니 출력 형식이 매번 들쭉날쭉합니다. 모델은 그대로 두고 가장 먼저 시도할 방법은?
- A. 원하는 입력–출력 형식의 예시 2~3개를 프롬프트에 넣는다(퓨샷)
- B. 지시–응답 데이터를 모아 SFT로 추가 학습한다
- C. temperature를 크게 올린다
- D. 모델을 INT4로 양자화한다
정답과 해설 보기
정답: A
지금은 제로샷이라 결과가 흔들리는 것입니다. 퓨샷은 형식 맞추기에 강하고 가중치를 바꾸지 않습니다. SFT는 모델을 바꾸는 방법입니다. (188, 193)
Q16. 한 요청에 퓨샷 예시를 넣어 원하는 형식으로 답을 받았습니다. 이후 새 세션에서 예시 없이 같은 요청을 하면 어떻게 되는가?
- A. 모델이 지난 예시를 학습했으므로 같은 형식을 계속 따른다
- B. 예시는 그 요청의 입력에만 들어갔을 뿐 가중치는 그대로라, 형식을 원하면 예시를 다시 넣어야 한다
- C. 퓨샷을 한 번 쓰면 모델이 SFT 모델로 바뀐다
- D. 예시가 KV Cache에 영구 저장되어 모든 사용자에게 적용된다
정답과 해설 보기
정답: B
퓨샷은 입력만 바꾸는 방법이라 모델 자체는 바뀌지 않습니다. 예시를 써서 가중치를 학습시키는 건 파인튜닝입니다. (188, 193)
Q17. Chain-of-Thought(CoT)에 대한 설명으로 맞는 것은?
- A. 외부 도구가 문제를 단계별로 나눠 관리해 주는 방식이다
- B. 단계별 풀이 데이터로 모델 가중치를 다시 학습하는 방식이다
- C. 예시를 반드시 3개 이상 넣어야 하는 방식이다
- D. 프롬프트 지시만으로 모델이 단계별로 생각하게 해서, 수학이나 복잡한 문제의 정확도를 높이는 방식이다
정답과 해설 보기
정답: D
CoT는 “단계별로 생각해” 같은 지시로 모델 스스로 단계를 밟게 하는 프롬프트 기법입니다. 도구도, 추가 학습도 필요 없습니다. (188)
출처: donggrri.tistory.com/188 , donggrri.tistory.com/193
SFT·LoRA, RLHF, 지식 증류는 무엇이 다를까요?
핵심 포인트
- SFT는 지시–응답 예시로 가중치를 추가 학습합니다. LoRA는 원래 가중치는 고정하고 각 층에 작은 저랭크 행렬 쌍(어댑터)만 학습합니다.
- RLHF는 여러 답 생성 → 사람이 선호 순위 → 보상 모델 학습 → 강화학습(PPO) 순서입니다. 목적은 helpful·harmless·honest한 정렬입니다. DPO는 보상 모델과 강화학습을 생략하고 선호 데이터로 직접 학습합니다.
- (보충) 지식 증류는 큰 모델(teacher)의 출력을 작은 모델(student)이 따라 배우게 해서 작고 빠른 모델을 만드는 방법입니다.
Q18. 방식과 “바뀌는 것”의 짝이 틀린 것은?
- A. 프롬프트 엔지니어링 – 입력(가중치는 그대로)
- B. 전체 파인튜닝(SFT) – 모델 가중치 전체
- C. LoRA – 원래 모델 가중치 전체
- D. 퓨샷 – 입력(예시 추가)
정답과 해설 보기
정답: C
LoRA는 원래 가중치를 고정하고 작은 어댑터만 학습해서 자원을 아낍니다. (193)
Q19. RLHF와 DPO에 대한 설명으로 틀린 것은?
- A. RLHF에서는 사람이 모든 문장의 정답을 직접 써 주고, 모델은 그걸로 다음 토큰 예측을 학습한다
- B. RLHF는 사람의 선호 순위로 보상 모델을 학습한 뒤 강화학습(PPO)으로 LLM을 조정한다
- C. RLHF의 목적은 helpful·harmless·honest한 답, 즉 정렬이다
- D. DPO는 보상 모델과 강화학습 단계를 생략하고 선호 데이터로 직접 학습한다
정답과 해설 보기
정답: A
RLHF에서 사람은 정답을 쓰는 게 아니라 여러 답의 순위를 매깁니다. 정답 예시로 학습하는 건 SFT에 가깝습니다. (193)
Q20. 큰 모델의 출력을 정답처럼 삼아 작은 모델이 따라 배우게 해서, 작고 빠른 모델을 만드는 방법은?
- A. 양자화(Quantization)
- B. 지식 증류(Knowledge Distillation)
- C. MoE(Mixture of Experts)
- D. RAG
정답과 해설 보기
정답: B
지식 증류는 teacher를 따라 student를 새로 학습합니다. 양자화는 같은 모델의 숫자 비트를 줄이는 거라 다릅니다. (보충)
출처: donggrri.tistory.com/193 (지식 증류는 보충)
토큰·임베딩부터 양자화·MoE까지 핵심은 무엇일까요?
핵심 포인트
- 텍스트는 토큰 → 토큰 ID → 임베딩 벡터 순서로 바뀝니다. 임베딩 값은 사람이 정하지 않고 학습으로 정해집니다.
- Self-Attention의 결과는 최종 답이 아니라 문맥이 반영된 토큰 표현입니다. Transformer는 이 블록을 여러 층 쌓고, 높은 층일수록 깊은 의미를 잡습니다.
- 양자화: 파라미터 1개당 FP16 2바이트, INT8 1바이트, INT4 0.5바이트입니다. 비트를 줄인다고 항상 빨라지는 건 아닙니다.
- MoE: 라우터가 토큰마다 일부 전문가만 고릅니다. 특정 전문가에 토큰이 몰리지 않게 load balancing 보조 손실을 둡니다.
Q21. 텍스트가 LLM 안에서 처리되는 순서로 맞는 것은?
- A. 텍스트 → 임베딩 벡터 → 토큰 ID → 토큰
- B. 텍스트 → 임베딩 벡터 → 토큰 → 토큰 ID
- C. 토큰 ID → 텍스트 → 토큰 → 임베딩 벡터
- D. 텍스트 → 토큰 → 토큰 ID → 임베딩 벡터
정답과 해설 보기
정답: D
텍스트를 토큰으로 쪼개고, 숫자 ID로 바꾼 다음, 그 ID를 의미가 담긴 임베딩 벡터로 바꿉니다. (196, 202)
Q22. Self-Attention과 Transformer에 대한 설명으로 맞는 것은?
- A. Self-Attention의 결과는 문맥이 반영된 토큰 표현이고, Transformer는 이런 블록을 여러 층 쌓아 높은 층일수록 문장 전체의 깊은 의미를 잡는다
- B. Self-Attention 한 층의 결과가 곧 최종 답변 문장이다
- C. RNN은 단어를 병렬로 처리해서 Transformer보다 긴 문장에 강하다
- D. Transformer는 문장이 길어져도 계산량과 메모리가 늘지 않는다
정답과 해설 보기
정답: A
Self-Attention은 더 풍부한 표현을 만드는 과정입니다. RNN은 한 단어씩 차례로 처리하고, Transformer는 모든 토큰이 서로를 봐서 문장이 길수록 계산량과 메모리가 크게 늡니다. (183, 184)
Q23. 파라미터 130억 개(13B) 모델을 FP16에서 INT8로 양자화하면 가중치 메모리는 대략 어떻게 바뀌는가? (가중치만 계산)
- A. 13GB → 6.5GB
- B. 52GB → 26GB
- C. 26GB → 13GB
- D. 26GB → 6.5GB
정답과 해설 보기
정답: C
FP16은 2바이트 × 13B = 26GB, INT8은 1바이트 × 13B = 13GB입니다. 26GB → 6.5GB는 INT4로 줄였을 때입니다. (189)
Q24. MoE에서 라우터가 토큰을 특정 전문가에게만 몰아 보내는 문제를 막기 위해 쓰는 방법은?
- A. 전문가 수를 1개로 줄인다
- B. load balancing 보조 손실을 둬서 토큰이 고르게 나뉘도록 유도한다
- C. 모든 토큰을 모든 전문가에게 보낸다
- D. 라우터를 없애고 무작위로 보낸다
정답과 해설 보기
정답: B
쏠림을 막으려고 보조 손실을 둡니다. 전문가가 받을 수 있는 양(capacity)을 넘친 토큰은 잔차 연결로 넘어가거나 버려집니다. (197)
출처: donggrri.tistory.com/196 , donggrri.tistory.com/202 , donggrri.tistory.com/183 , donggrri.tistory.com/184 , donggrri.tistory.com/189 , donggrri.tistory.com/197
환각, RAG, Agent는 어떻게 안전하게 다룰까요?
핵심 포인트
- “모르면 모른다고 답해” 지시는 도움은 되지만 완벽하지 않습니다. 출처 확인, 실행, 교차 확인 같은 사람의 검증이 필요합니다.
- RAG의 흐름은 문서 → Chunk → Embedding → Vector DB → 질문 Embedding → 검색 → Context → 답변입니다. 넣은 문서가 틀리면 답도 틀립니다(Garbage in, garbage out).
- Agent는 LLM이 다음 행동을 스스로 정합니다. 그래서 권한 제한, 중요한 행동 전 사람 승인, 결과 검증이 필요합니다.
Q25. 프롬프트에 “모르는 내용은 모른다고 답해”라고 넣었을 때의 효과로 가장 알맞은 것은?
- A. 환각이 완전히 사라진다
- B. 효과가 전혀 없다
- C. temperature를 함께 올려야만 효과가 생긴다
- D. 도움은 되지만 완벽하지 않아서, 출처 확인 같은 검증을 같이 해야 한다
정답과 해설 보기
정답: D
모델이 자기가 모른다는 걸 항상 아는 건 아니라서 완벽한 해결책이 아닙니다. 사람의 검증을 같이 해야 합니다. (199)
Q26. RAG에 대한 설명으로 틀린 것은?
- A. RAG를 쓰면 넣은 문서가 오래됐거나 틀려도 환각이 사라진다
- B. Chunk가 너무 작으면 문맥이 끊기고, 너무 크면 쓸데없는 내용이 섞여서 조각을 살짝 겹치게 자르기도 한다
- C. 질문도 임베딩해서 Vector DB에서 비슷한 조각을 찾는다
- D. Embedding은 변환, Vector DB는 저장과 검색, LLM은 최종 답을 만드는 역할이다
정답과 해설 보기
정답: A
Garbage in, garbage out입니다. RAG 문서가 틀리거나 오래되면 AI는 그걸 믿고 틀린 답을 합니다. 그래서 문서 최신화와 출처 관리가 필요합니다. (199)
Q27. 파일 삭제나 메일 발송 같은 도구를 쓸 수 있는 Agent를 운영할 때 가장 알맞은 안전장치는?
- A. 도구 호출 횟수에 제한을 두지 않고 끝까지 스스로 하게 둔다
- B. 중간 결과 검증은 생략하고 최종 답만 확인한다
- C. 권한을 필요한 만큼만 주고, 되돌릴 수 없는 행동 전에는 사람 승인을 받는다
- D. temperature를 최대로 올려 다양한 행동을 시도하게 한다
정답과 해설 보기
정답: C
Agent는 원치 않는 방향으로 가거나 되돌릴 수 없는 행동을 할 수 있습니다. 그래서 권한 제한, 사람 승인, 결과 검증이 대책입니다. (199)
컨텍스트가 오염되면 어떻게 대응할까요?
핵심 포인트
- 프롬프트 엔지니어링은 지시문을 쓰고 구성하는 일이고, 컨텍스트 엔지니어링은 도구 정의, 검색 결과, 대화 기록, 메모리까지 모델이 보는 정보 전체를 고르고 관리하는 일입니다.
- 원칙은 “가능한 한 작고 신호가 강한 토큰 집합”입니다. 방법으로는 just-in-time, 컴팩션(긴 대화를 요약해서 새 컨텍스트로), 구조화된 메모가 있습니다.
- 같은 질문 반복, 앞에서 정한 걸 까먹음, 앞뒤 안 맞는 답은 컨텍스트 오염 신호입니다.
Q28. 긴 대화 세션에서 모델이 앞에서 정한 규칙을 잊고 앞뒤가 안 맞는 답을 내기 시작했습니다. 컨텍스트 엔지니어링 관점에서 가장 알맞은 대응은?
- A. 같은 세션에서 같은 질문을 계속 반복한다
- B. 지금까지의 결정 사항만 짧게 요약해서 새 세션(새 컨텍스트)으로 옮긴다
- C. 시스템 프롬프트에 지난 대화 전체를 그대로 붙여 넣는다
- D. temperature를 높여서 다른 답이 나오길 기다린다
정답과 해설 보기
정답: B
컨텍스트 오염 신호입니다. 결정 사항만 요약해서 새로 시작하면(컴팩션) 작고 신호가 강한 컨텍스트를 유지할 수 있습니다. 대화 전체를 붙이면 자리만 차지합니다. (208, 188)
출처: donggrri.tistory.com/208 , donggrri.tistory.com/188
출처로 삼은 글은 무엇인가요?
- donggrri.tistory.com/183
- donggrri.tistory.com/184
- donggrri.tistory.com/186
- donggrri.tistory.com/188
- donggrri.tistory.com/189
- donggrri.tistory.com/191
- donggrri.tistory.com/193
- donggrri.tistory.com/196
- donggrri.tistory.com/197
- donggrri.tistory.com/199
- donggrri.tistory.com/200
- donggrri.tistory.com/202
- donggrri.tistory.com/208
- donggrri.tistory.com/214