핵심 요약
이 글은 AI 기초 개념 정리와 직접 만든 예상 문제입니다. 그동안 블로그에 정리한 AI 공부 글을 근거로 15개 주제의 핵심 개념과 헷갈리기 쉬운 비교를 정리하고, 주제마다 직접 만든 객관식 문제 1~2개(총 28문제)를 붙였습니다. 각 문제 바로 아래의 토글을 열면 정답과 해설을 볼 수 있습니다.
- ★ 표시는 헷갈리기 쉬운 핵심 주제입니다.
- 블로그에 없는 내용을 일반 지식으로 채운 곳은 **(보충)**으로 표시했습니다. 해설 끝의 (191) 같은 숫자는 근거가 된 블로그 글 번호입니다.
- 시작 글: donggrri.tistory.com/200 — 이 글에서 이어지는 AI 공부 글들을 출처로 삼았습니다.
Temperature와 Top-p는 무엇이 다를까요? ★
개념 요약
- 모델은 다음 토큰이 나올 확률 분포를 내고, 그중 무엇을 고를지는 따로 정한 규칙(디코딩 전략)이 정합니다.
- greedy는 항상 1등 토큰을 고릅니다. 샘플링은 확률에 따라 무작위로 뽑아서, 같은 질문에도 답이 달라질 수 있습니다.
- temperature는 점수(logit)를 T로 나눠서 분포 모양을 바꿉니다. T를 낮추면 분포가 뾰족해져서 1등에 몰리고(일관적), 높이면 평평해져서 답이 다양해집니다(엉뚱한 답도 늘어납니다).
- top-k는 상위 k개만 남기고, top-p는 누적 확률이 p가 될 때까지만 후보로 남깁니다.
- 정확성이 중요한 코드나 사실 답변은 낮게, 아이디어처럼 다양성이 필요하면 높게 잡습니다. 보통 temperature와 top-p 중 하나만 바꿉니다.
헷갈리기 쉬운 비교
- temperature는 분포의 모양(뾰족/평평)을, top-k와 top-p는 후보 범위를 정합니다.
- top-k는 후보 수가 고정이고, top-p는 분포 모양에 따라 후보 수가 바뀝니다. 분포가 뾰족하면 후보가 적고 평평하면 많습니다.
- 일정한 답을 원하면 온도를 낮춰야 합니다. 올리면 답이 더 다양해집니다.
예상 문제
Q1. 같은 프롬프트에 매번 거의 같은 답을 받고 싶습니다. 가장 알맞은 설정은 무엇입니까?
- A. temperature를 2.0으로 올린다
- B. top-p를 1.0으로 올린다
- C. temperature를 0에 가깝게 낮춘다(또는 greedy를 쓴다)
- D. temperature와 top-p를 둘 다 크게 올린다
정답과 해설 보기
정답: C
온도를 0에 가깝게 낮추거나 greedy를 쓰면 1등 토큰에 확률이 몰려서 답이 거의 같아집니다. 올리면 답이 더 다양해집니다. (191)
Q2. top-k와 top-p에 대한 설명으로 맞는 것은 무엇입니까?
- A. top-p는 항상 같은 개수의 후보를 남긴다
- B. top-k는 누적 확률이 k가 될 때까지 후보를 남긴다
- C. 코드처럼 정확성이 중요한 작업은 top-p를 높게 잡는다
- D. top-p는 분포가 뾰족하면 후보가 적고, 평평하면 후보가 많아진다
정답과 해설 보기
정답: D
top-p는 누적 확률 기준이라 분포 모양에 따라 후보 수가 바뀝니다. 후보 수가 고정인 것은 top-k입니다. 정확성이 중요하면 낮게 잡습니다. (191)
Prefill과 Decode는 왜 병목이 다를까요? (KV Cache·HBM) ★
개념 요약
- Prefill은 프롬프트 전체를 한꺼번에(병렬로) 읽는 단계입니다. GPU 코어를 꽉 채워서 **연산 중심(compute-bound)**입니다.
- Decode는 답을 한 토큰씩 만드는 단계입니다. 토큰 1개를 만들 때마다 가중치와 앞 토큰의 K·V를 메모리에서 다시 읽어야 해서 메모리 대역폭 중심(memory-bound)입니다.
- KV Cache는 앞 토큰들의 K와 V를 저장해 두고 다시 쓰는 것입니다. 새 토큰은 자기 Q, K, V만 계산하고 새 K, V를 캐시에 추가합니다. Q는 매번 새로 만듭니다.
- Context가 길어지면 KV Cache가 커져서 메모리 사용량이 늘고, 토큰마다 읽어야 할 양도 늘어납니다. 그래서 HBM 같은 고대역폭 메모리가 중요합니다.
- GPU와 NPU는 수천 개 코어로 병렬 계산을 하고 HBM으로 데이터를 빨리 읽습니다. KV Cache를 줄이거나 메모리를 빠르게 하는 것이 AI 반도체의 숙제입니다.
헷갈리기 쉬운 비교
- Prefill은 연산이 병목이고, Decode는 메모리가 병목입니다. 반대로 외우지 않게 주의하십시오.
- 재사용하는 것은 K와 V뿐이고, Q는 재사용하지 않습니다.
- 시스템 프롬프트의 K, V는 한 번만 계산하지만, 새 토큰마다 읽어야 하므로 캐시 용량과 읽기 부담은 그대로입니다(188).
예상 문제
Q3. LLM의 Decode 단계가 memory-bound라고 불리는 이유로 가장 알맞은 것은 무엇입니까?
- A. 토큰 1개를 만들 때마다 모델 가중치와 앞 토큰의 K·V를 메모리에서 다시 읽어야 해서
- B. 프롬프트 수백 토큰을 한꺼번에 계산해서 GPU 코어가 꽉 차서
- C. Softmax 계산이 행렬 곱보다 훨씬 무거워서
- D. Q를 캐시에서 꺼내 와야 해서
정답과 해설 보기
정답: A
Decode는 토큰마다 가중치와 K·V를 메모리에서 다시 읽어야 합니다. B는 Prefill 설명입니다. (186)
Q4. KV Cache에 대한 설명으로 틀린 것은 무엇입니까?
- A. 앞 토큰들의 K, V를 한 번 계산해 저장해 두고 재사용한다
- B. 새 토큰은 자기 Q, K, V를 계산하고 새 K, V를 캐시에 추가한다
- C. Context가 길어질수록 캐시가 커져 메모리 사용량과 토큰당 읽을 양이 늘어난다
- D. Q도 앞 토큰 것을 재사용하므로 새 토큰마다 Q를 다시 만들 필요가 없다
정답과 해설 보기
정답: D
Q는 “지금 토큰이 찾는 것”이라서 매번 새로 만듭니다. 재사용하는 것은 K와 V입니다. (186)
출처: donggrri.tistory.com/186 , donggrri.tistory.com/189
지도·비지도·강화학습은 어떻게 구분할까요? ★
개념 요약
- 지도학습은 정답(라벨)이 있는 데이터로 입력과 출력의 관계를 배우는 방식입니다.
- 비지도학습은 라벨 없이 데이터 안의 패턴이나 군집을 찾는 방식입니다.
- 강화학습은 환경 안에서 시행착오를 거치며 보상을 최대화하는 행동을 익히는 방식입니다.
- (보충) 지도학습은 다시 둘로 나뉩니다. 숫자를 맞히면 회귀(예: 내일 기온, 집값)이고, 범주를 맞히면 분류(예: 스팸인지 아닌지)입니다.
- (보충) 대표적인 활용: 비지도는 고객 세분화(군집화), 강화학습은 게임, 로봇 제어, 그리고 RLHF(193)입니다.
헷갈리기 쉬운 비교
- 라벨이 없으면 군집화(비지도)이고, 라벨이 있고 숫자를 예측하면 회귀(지도)입니다. 라벨 유무와 예측 대상(숫자/범주)을 헷갈리기 쉬운 부분입니다.
- 사전학습(193)은 텍스트 자체가 정답 역할을 해서 자기지도 학습이라고 부릅니다. 사람이 라벨을 다는 지도학습과는 다릅니다.
예상 문제
Q5. 고객 구매 기록에 정답 라벨이 없습니다. 비슷한 고객끼리 묶어서 그룹을 만들고 싶다면 어떤 방식이 알맞습니까?
- A. 지도학습 – 회귀
- B. 비지도학습 – 군집화
- C. 지도학습 – 분류
- D. 강화학습
정답과 해설 보기
정답: B
라벨 없이 비슷한 것끼리 묶는 것은 비지도학습, 즉 군집화입니다. (214)
Q6. (보충 기반) 과거 기온 기록(정답 있음)으로 내일 기온을 숫자로 예측하려 합니다. 알맞은 것은 무엇입니까?
- A. 비지도학습 – 군집화
- B. 지도학습 – 분류
- C. 지도학습 – 회귀
- D. 강화학습
정답과 해설 보기
정답: C
정답이 있고 숫자를 예측하므로 지도학습 회귀입니다. (보충)
출처: donggrri.tistory.com/214 (회귀·분류 구분은 보충)
과적합과 데이터 누수는 무엇이 다를까요? ★
개념 요약
- 과적합은 학습 데이터를 너무 외워서 새 데이터에서는 성능이 떨어지는 현상입니다.
- 데이터 누수는 평가용이나 정답 쪽 정보가 학습에 미리 흘러 들어가서 점수가 실제보다 좋게 나오는 현상입니다.
- 데이터 누수의 예: 전체 데이터에 전처리를 먼저 하고 나서 학습용과 평가용으로 나누면 생길 수 있습니다.
- MoE 같은 Sparse 모델은 과적합에 더 취약해서 파인튜닝이 어려운 편이었습니다(197).
- (보충) 과적합을 줄이려면 데이터를 늘리거나, 정규화(regularization)를 쓰거나, 검증 데이터로 일찍 멈추는(early stopping) 방법이 있습니다.
헷갈리기 쉬운 비교
- 과적합은 학습 점수는 높은데 새 데이터 점수가 낮은 것입니다. 데이터 누수는 평가 점수 자체가 거짓으로 높게 나오는 것입니다.
- 과적합은 모델이 너무 외운 문제이고, 데이터 누수는 데이터를 나누는 과정의 실수입니다.
예상 문제
Q7. 어떤 모델이 학습 데이터에서는 정확도 99%인데, 처음 보는 데이터에서는 60%입니다. 이 현상은 무엇입니까?
- A. 데이터 누수
- B. 환각
- C. 과적합
- D. 양자화 손실
정답과 해설 보기
정답: C
학습 데이터를 너무 외워서 새 데이터 성능이 떨어지는 과적합입니다. (214)
Q8. 데이터 누수가 생길 수 있는 경우는 무엇입니까?
- A. 전체 데이터에 전처리를 먼저 적용한 뒤 학습용과 평가용으로 나눈다
- B. 먼저 학습용과 평가용으로 나누고, 평가 데이터는 학습에 쓰지 않는다
- C. 학습 데이터를 더 모은다
- D. 평가 데이터를 마지막에 한 번만 사용한다
정답과 해설 보기
정답: A
전처리를 먼저 하고 나누면 평가 데이터 정보가 학습에 섞여서 데이터 누수가 생깁니다. (214)
출처: donggrri.tistory.com/214 , donggrri.tistory.com/197 (해결책은 보충)
제로샷·퓨샷·CoT와 파인튜닝·LoRA는 무엇이 다를까요? ★
개념 요약
- 프롬프트 엔지니어링은 모델은 그대로 두고 입력만 설계해서 원하는 출력을 얻는 기술입니다.
- 제로샷은 예시 없이 지시만 줍니다. 빠르지만 어려운 작업에서는 결과가 들쭉날쭉할 수 있습니다.
- 퓨샷은 예시 두세 개로 패턴을 보여 줍니다. 분류, 형식 맞추기, 톤 잡기에 강합니다.
- **CoT(Chain-of-Thought)**는 단계별로 생각하게 하는 것입니다. 수학이나 복잡한 문제에서 정확도가 올라갑니다.
- **파인튜닝(SFT)**은 지시–응답 데이터로 가중치를 추가 학습하는 것입니다. LoRA는 원래 가중치는 고정해 두고 작은 어댑터만 학습해서 자원을 아낍니다.
헷갈리기 쉬운 비교
- 제로샷, 퓨샷, CoT는 가중치를 그대로 두고 입력만 바꿉니다. 파인튜닝과 LoRA는 가중치를 바꿉니다(LoRA는 추가한 작은 가중치만).
- 퓨샷은 예시를 “보여 주기”만 하고 학습하지는 않습니다. 예시를 써서 가중치를 학습시키면 파인튜닝입니다.
- 모델을 바꾸지 않고 빠르게 시도해 보려면 프롬프트를 쓰고, 특정 형식이나 도메인 동작을 아예 모델에 학습시키려면 SFT를 씁니다. 자원이 부족하면 LoRA를 씁니다.
예상 문제
Q9. 프롬프트에 비슷한 예시 2~3개를 넣어서 출력 형식을 맞추게 하는 방법은 무엇입니까?
- A. 제로샷
- B. Chain-of-Thought
- C. 파인튜닝
- D. 퓨샷
정답과 해설 보기
정답: D
예시 몇 개로 패턴을 보여 주는 것은 퓨샷입니다. (188)
Q10. 다음 중 맞는 설명은 무엇입니까?
- A. 퓨샷 프롬프트는 모델 가중치를 바꾼다
- B. 파인튜닝(SFT)은 지시–응답 데이터로 가중치를 추가 학습하고, 프롬프트는 가중치를 그대로 둔다
- C. 제로샷은 예시를 많이 넣을수록 좋아지는 방법이다
- D. LoRA는 원래 가중치 전체를 다시 학습한다
정답과 해설 보기
정답: B
SFT는 가중치를 추가 학습하고, 프롬프트는 가중치를 그대로 둡니다. 퓨샷은 가중치를 안 바꾸고, LoRA는 원래 가중치를 고정합니다. (193, 188)
출처: donggrri.tistory.com/188 , donggrri.tistory.com/193
환각(Hallucination)은 왜 생기고 어떻게 줄일까요?
개념 요약
- 환각은 AI가 사실이 아닌 내용을 그럴듯하고 자신 있게 말하는 것입니다. 없는 논문을 지어내거나 틀린 날짜를 확신하는 식입니다.
- 원인: LLM은 사실을 찾아보는 것이 아니라 그럴듯한 다음 토큰을 확률로 예측합니다. “모른다”고 말하는 것이 기본 동작이 아닙니다.
- 줄이는 법: RAG(믿을 만한 문서를 Context에 넣기), 도구(웹 검색, 최신 정보), “모르면 모른다고 답해” 지시(완벽하지 않음), 사람의 검증(출처 확인, 실행, 교차 확인)이 있습니다.
- Garbage in, garbage out: RAG로 넣은 문서가 틀리거나 오래됐으면 틀린 답이 나옵니다.
- AI의 대표 한계 4가지는 환각, 최신 정보 부족, 잘못된 Context, Context 한계입니다.
헷갈리기 쉬운 비교
- “모른다고 답하라” 지시는 도움은 되지만 완벽한 해결책이 아닙니다. 모델이 자기가 모른다는 것을 항상 아는 것은 아니기 때문입니다.
- 코드는 빌드나 실행이 된다고 해서 결과가 맞는 것은 아닙니다. 경계값이나 이상한 입력으로도 테스트해야 합니다.
예상 문제
Q11. LLM에서 환각이 생기는 근본적인 이유로 가장 알맞은 것은 무엇입니까?
- A. 사실을 찾아보는 게 아니라 그럴듯한 다음 토큰을 확률로 예측하기 때문에
- B. 인터넷 실시간 검색에 자주 실패하기 때문에
- C. GPU 메모리가 부족하기 때문에
- D. 토크나이저가 한국어를 못 읽기 때문에
정답과 해설 보기
정답: A
LLM은 확률로 그럴듯한 다음 토큰을 예측해서 모르는 것도 지어낼 수 있습니다. (199)
Q12. 환각을 줄이는 방법으로 가장 거리가 먼 것은 무엇입니까?
- A. 믿을 만한 문서를 찾아 Context에 넣는다(RAG)
- B. 웹 검색 도구로 최신 정보를 가져온다
- C. 출처를 확인하고 다른 자료와 교차 확인한다
- D. temperature를 크게 올려 더 다양한 답을 받는다
정답과 해설 보기
정답: D
온도를 올리면 엉뚱한 답이 더 늘어날 수 있습니다. A~C는 블로그에 나온 줄이는 방법입니다. (199, 191)
출처: donggrri.tistory.com/199 (D 오답 근거: 191, 온도를 높이면 엉뚱한 답이 늘어납니다)
Embedding·Vector DB·RAG·LLM은 어떻게 구분할까요?
개념 요약
- Embedding: 문장이나 단어를 의미가 담긴 숫자 벡터로 바꾸는 것입니다(값은 학습으로 정해집니다).
- Vector DB: 그 벡터를 저장해 두고 비슷한 것을 빨리 찾아 주는 저장소입니다.
- RAG: 질문과 관련된 문서를 찾아서 LLM의 Context에 넣어 주는 전체 방식입니다. 흐름은 문서 → Chunk → Embedding → Vector DB → 질문도 Embedding → 검색 → Context → 답변입니다.
- Chunk는 너무 작으면 문맥이 끊기고 너무 크면 쓸데없는 내용이 섞입니다. 그래서 살짝 겹치게(overlap) 자르기도 합니다.
- 코사인 유사도는 두 벡터의 방향을 비교합니다. 같은 방향이면 1, 직각이면 0입니다. 원-핫 벡터는 서로 다른 단어끼리 항상 0이라서 유사도 정보가 없습니다.
헷갈리기 쉬운 비교
- “Vector DB가 곧 RAG다”는 틀린 말입니다. Vector DB는 부품 하나일 뿐이고, 키워드 검색이나 웹 검색으로 찾아도 RAG입니다.
- 원-핫은 길고 희소하고 규칙으로 정해집니다. 임베딩은 짧고 촘촘하고 학습으로 정해집니다.
예상 문제
Q13. RAG에 대한 설명으로 맞는 것은 무엇입니까?
- A. RAG는 반드시 Vector DB를 사용해야 한다
- B. Vector DB가 곧 RAG 전체 방식이다
- C. 키워드 검색이나 웹 검색으로 문서를 찾아 Context에 넣어도 RAG다
- D. RAG는 모델 가중치를 추가 학습하는 방법이다
정답과 해설 보기
정답: C
RAG는 찾아서 Context에 넣는 전체 방식이라 Vector DB가 꼭 필요하지 않습니다. 키워드 검색이나 웹 검색도 RAG입니다. (199)
Q14. 원-핫 인코딩으로 “왕”과 “여왕”의 코사인 유사도를 계산하면 얼마입니까?
- A. 1
- B. 0
- C. 0.96
- D. −1
정답과 해설 보기
정답: B
서로 다른 단어의 원-핫 벡터는 항상 직각이라 코사인 유사도가 0입니다. (202)
출처: donggrri.tistory.com/199 , donggrri.tistory.com/202
LLM, Workflow, Agent는 무엇이 다를까요?
개념 요약
- LLM은 질문을 받으면 바로 답합니다. 도구가 없습니다.
- Workflow는 사람이 정해 둔 순서대로 움직입니다. 예: 매일 9시에 뉴스 3개 검색 → 요약 → 메일 발송.
- Agent는 LLM이 상황을 보고 다음에 할 일을 스스로 정합니다. 도구를 고르고, 결과를 보고, 다시 판단하는 것을 반복합니다.
- Agent의 위험: 원하지 않는 방향으로 갈 수 있고, 도구를 반복 호출해서 비용이 늘고, 중간 환각 위에 다음 행동을 쌓고, 삭제나 발송처럼 되돌릴 수 없는 행동을 할 수 있습니다.
- 대책은 권한 제한, 중요한 행동 전 사람 승인, 결과 검증입니다.
헷갈리기 쉬운 비교
- 둘을 가르는 기준은 도구를 쓰느냐가 아니라 다음 행동을 누가 정하느냐입니다. 사람이 정해 두면 Workflow이고, LLM이 정하면 Agent입니다.
예상 문제
Q15. “매일 오전 9시에 뉴스 3개를 검색해 요약한 뒤 메일로 보낸다”는 순서가 미리 정해진 시스템은 무엇입니까?
- A. Agent
- B. LLM
- C. RAG
- D. Workflow
정답과 해설 보기
정답: D
사람이 순서를 미리 정해 뒀으므로 Workflow입니다. (199)
Q16. Workflow와 Agent를 구분하는 핵심 기준은 무엇입니까?
- A. 도구를 사용하는지 여부
- B. 모델 파라미터 크기
- C. 다음 행동을 누가 정하는지(사람이 정해 뒀는지, LLM이 스스로 정하는지)
- D. 컨텍스트 윈도우 길이
정답과 해설 보기
정답: C
기준은 다음 행동을 누가 정하느냐입니다. 도구를 쓰느냐가 아닙니다. (199)
Self-Attention의 Q·K·V는 각각 무슨 역할일까요?
개념 요약
- Self-Attention은 지금 토큰이 다른 토큰을 얼마나 참고할지 비중을 매기는 과정입니다.
- 도서관에 비유하면 Q는 검색어(지금 토큰), K는 책 라벨(다른 토큰의 특징), V는 책 실제 내용(다른 토큰의 정보)입니다.
- 흐름은 Embedding → Q·K·V → Q·K 점수 → Softmax(합 1) → V 가중합 → 새 표현입니다.
- 최종 답을 만드는 과정이 아닙니다. 문맥이 반영된 더 풍부한 토큰 표현을 만드는 과정입니다.
헷갈리기 쉬운 비교
- 점수는 Q와 K를 비교해서 만들고, 실제로 섞는 정보는 V입니다.
- Q·K·V를 나누는 이유: Embedding 하나로 세 역할을 다 하면 정보가 섞여서 연관성을 찾기 어렵습니다.
예상 문제
Q17. Self-Attention의 Q·K·V를 도서관에 비유한 것으로 맞는 것은 무엇입니까?
- A. Q = 검색어, K = 책 라벨, V = 책의 실제 내용
- B. Q = 책 라벨, K = 책의 실제 내용, V = 검색어
- C. Q = 책의 실제 내용, K = 검색어, V = 책 라벨
- D. Q, K, V 모두 같은 역할이다
정답과 해설 보기
정답: A
Q는 검색어, K는 라벨, V는 실제 내용입니다. (183)
Q18. Softmax 후 비중이 토큰 B 0.7, 토큰 C 0.3으로 나왔습니다. 새 표현은 어떻게 만들어집니까?
- A. 0.7·K(B) + 0.3·K(C)
- B. V(B)만 사용한다
- C. 0.7·Q(B) + 0.3·Q(C)
- D. 0.7·V(B) + 0.3·V(C)
정답과 해설 보기
정답: D
비중으로 V를 가중합합니다. 0.7·V(B) + 0.3·V(C)입니다. (183)
Transformer 블록은 어떻게 생겼을까요?
개념 요약
- 입력은 단어 Embedding + 위치 정보(Positional Encoding)입니다.
- 블록 하나는 Self-Attention(토큰끼리 정보 교환) → FFN(각 토큰이 혼자 가공)이고, 단계마다 Residual Connection과 LayerNorm이 붙습니다. 이 블록을 여러 층 쌓습니다.
- 낮은 층은 단순한 단어 관계를, 높은 층은 문장 전체의 깊은 의미를 잡습니다.
- RNN은 한 단어씩 차례로 처리해서 느리고 긴 문장의 앞부분을 잊습니다. Transformer는 병렬로 처리하지만, 문장이 길수록 계산량과 메모리가 크게 늘어납니다.
헷갈리기 쉬운 비교
- Self-Attention은 다 같이 하는 회의이고, FFN은 각자 하는 개인 작업입니다.
- 위치 정보가 필요한 이유: Attention은 모든 토큰을 한꺼번에 보므로 순서를 모릅니다. “개가 사람을 물었다”와 “사람이 개를 물었다”를 구분해야 하기 때문입니다.
예상 문제
Q19. Transformer가 단어 Embedding에 위치 정보(Positional Encoding)를 더하는 이유는 무엇입니까?
- A. 단어 수를 줄이기 위해
- B. Attention은 모든 토큰을 한꺼번에 보기 때문에 순서를 따로 알려 줘야 해서
- C. KV Cache 용량을 줄이기 위해
- D. 토큰을 숫자로 바꾸기 위해
정답과 해설 보기
정답: B
Attention은 순서를 모르므로 위치 정보를 더해 줍니다. (184)
Q20. Self-Attention과 FFN에 대한 설명으로 맞는 것은 무엇입니까?
- A. Self-Attention은 토큰끼리 정보를 교환하고, FFN은 각 토큰이 다른 토큰을 보지 않고 혼자 가공한다
- B. FFN에서 토큰끼리 정보를 교환한다
- C. Self-Attention은 다른 토큰을 전혀 보지 않는다
- D. 둘 다 순차적으로 한 단어씩 처리한다
정답과 해설 보기
정답: A
Self-Attention은 회의(정보 교환)이고, FFN은 개인 작업(혼자 가공)입니다. (184)
양자화(Quantization)는 메모리를 얼마나 줄일까요?
개념 요약
- 양자화는 가중치를 더 적은 비트로 근사해서 저장하는 것입니다. 메모리와 읽을 데이터는 줄지만 정밀도도 낮아져서 정확도가 떨어질 수 있습니다.
- 파라미터 1개에 FP16은 2바이트, INT8은 1바이트, INT4는 0.5바이트입니다.
- 7B 모델이면 가중치만 FP16 14GB, INT8 7GB, INT4 3.5GB입니다. KV Cache와 오버헤드는 빠진 숫자입니다.
- Decode가 memory-bound라서 효과가 큽니다. 토큰당 HBM에서 읽을 바이트가 줄어들기 때문입니다.
- PTQ는 학습이 끝난 뒤 양자화하는 것이고, QAT는 학습 때부터 양자화를 고려하는 것입니다. KV Cache도 양자화할 수 있습니다.
헷갈리기 쉬운 비교
- 비트를 줄인다고 항상 빨라지는 것은 아닙니다. 하드웨어와 커널이 지원해야 합니다.
- 메모리는 FP16 대비 INT8이 1/2, INT4가 1/4입니다. 정확도 위험은 INT4가 제일 큽니다.
예상 문제
Q21. 파라미터 70억 개(7B) 모델을 INT4로 양자화하면 가중치 메모리는 대략 얼마입니까? (가중치만 계산)
- A. 14GB
- B. 7GB
- C. 28GB
- D. 3.5GB
정답과 해설 보기
정답: D
0.5바이트 × 7B = 3.5GB입니다. (189)
Q22. 양자화가 LLM의 Decode 단계에서 특히 효과가 큰 이유는 무엇입니까?
- A. Decode는 compute-bound라서 연산량이 줄면 빨라지기 때문에
- B. Decode는 토큰마다 가중치를 메모리에서 다시 읽는 memory-bound라서, 읽을 데이터가 줄면 병목이 풀리기 때문에
- C. 양자화하면 KV Cache가 필요 없어지기 때문에
- D. 양자화하면 정확도가 항상 올라가기 때문에
정답과 해설 보기
정답: B
Decode가 memory-bound라서 읽을 바이트가 줄면 대역폭 병목이 풀립니다. (189, 186)
사전학습·SFT·RLHF는 어떤 순서로 진행될까요?
개념 요약
- ① 사전학습은 대량 텍스트로 다음 토큰 맞히기를 해서 Base 모델을 만드는 단계입니다. 텍스트 자체가 정답이라 자기지도 학습입니다.
- ② **SFT(파인튜닝)**는 지시–응답 예시로 추가 학습해서 지시를 따르는 모델을 만드는 단계입니다.
- ③ RLHF는 사람이 답변에 선호 순위를 매기면, 그것으로 보상 모델을 학습하고, 강화학습(PPO)으로 LLM을 조정하는 단계입니다. 그러면 대화형 모델이 됩니다.
- 목적은 정렬(alignment), 즉 helpful·harmless·honest한 답입니다. 대안으로 DPO도 있습니다(보상 모델 없이 선호 데이터로 직접 학습).
- 학습은 가중치를 업데이트하는 것이고, 추론은 가중치를 고정한 채 토큰을 생성하는 것입니다.
헷갈리기 쉬운 비교
- Base 모델은 질문을 넣어도 답을 안 하고 비슷한 질문을 이어 쓸 수도 있습니다. 대화형으로 만드는 것은 SFT와 RLHF입니다.
- RLHF에서 사람은 정답을 쓰는 것이 아니라 여러 답의 순위를 매깁니다.
예상 문제
Q23. LLM이 만들어지는 일반적인 순서로 맞는 것은 무엇입니까?
- A. RLHF → 사전학습 → SFT
- B. SFT → 사전학습 → RLHF
- C. 사전학습 → SFT → RLHF
- D. 사전학습 → RLHF → SFT
정답과 해설 보기
정답: C
사전학습 → SFT → RLHF 순서입니다. (193)
Q24. RLHF에서 사람이 하는 역할로 가장 알맞은 것은 무엇입니까?
- A. 모델이 만든 여러 답변에 선호 순위를 매긴다
- B. 모든 학습 문장에 다음 토큰 정답 라벨을 단다
- C. 모델 가중치를 직접 수정한다
- D. 토크나이저 어휘를 만든다
정답과 해설 보기
정답: A
사람은 여러 답변에 선호 순위를 매기고, 그것으로 보상 모델을 학습합니다. (193)
토큰과 컨텍스트 윈도우는 무엇일까요?
개념 요약
- 토큰은 LLM이 텍스트를 처리하는 단위입니다. 글자일 수도, 단어 조각일 수도, 단어 전체나 문장부호일 수도 있습니다.
- 영어는 대략 1토큰이 4글자, 단어 3/4개 정도입니다. 한국어는 같은 뜻이라도 토큰이 더 많이 나올 수 있습니다(인코딩마다 다릅니다).
red,Red,red(앞에 공백)는 서로 다른 토큰입니다. BPE는 자주 붙어 나오는 글자 쌍을 합쳐서 어휘를 만듭니다.- 컨텍스트 윈도우는 한 요청에서 볼 수 있는 토큰 총량의 한도입니다. 넘치면 줄이기, 중복 제거, 나누기, 요약으로 대처합니다. 추론 모델은 안 보이는 추론 토큰도 출력 공간을 차지합니다.
- 컨텍스트 윈도우 안에는 시스템 프롬프트가 맨 앞, 대화 이력이 중간, 사용자 메시지가 끝에 들어갑니다(188).
헷갈리기 쉬운 비교
- 토큰 수는 글자 수나 단어 수와 같지 않습니다.
- 컨텍스트가 길어지면 KV Cache 메모리 부담도 함께 커집니다(186과 연결).
예상 문제
Q25. 토큰과 컨텍스트 윈도우에 대한 설명으로 틀린 것은 무엇입니까?
- A. 같은 뜻의 문장이라도 언어와 인코딩에 따라 토큰 수가 다를 수 있다
- B. 토큰 수는 항상 글자 수와 같다
- C. 추론 모델에서는 화면에 안 보이는 추론 토큰도 출력 사용량에 포함된다
- D. 컨텍스트 윈도우를 넘으면 내용을 줄이거나 나누거나 요약해서 보낸다
정답과 해설 보기
정답: B
토큰 수는 글자 수나 단어 수와 같지 않습니다. (196)
출처: donggrri.tistory.com/196 , donggrri.tistory.com/188
MoE(Mixture of Experts)는 왜 연산은 줄고 메모리는 그대로일까요?
개념 요약
- MoE는 FFN 하나 대신 전문가 FFN 여러 개를 두고, 라우터가 토큰마다 일부(top-k) 전문가만 골라 계산하는 구조입니다.
- 토큰당 연산은 일부만 하지만, 모든 전문가를 메모리에 올려 둬야 해서 메모리 부담이 큽니다. 그래서 HBM 용량과 대역폭이 중요합니다.
- Mixtral 8x7B는 총 약 47B(46.7B) 파라미터지만 top-2라서 토큰당 실제로 쓰는 것은 약 13B(12.9B)입니다.
- 특정 전문가에 토큰이 몰리지 않게 load balancing 보조 손실을 둡니다. 전문가를 여러 장치에 나누는 것을 expert parallelism이라고 합니다.
- Sparse 모델은 과적합에 더 취약합니다. 언어별 전담 전문가가 깔끔하게 생기지도 않습니다.
헷갈리기 쉬운 비교
- 총 파라미터와 활성 파라미터는 다릅니다. Dense 모델은 둘이 같고, MoE는 활성 파라미터가 훨씬 적습니다.
- 연산은 줄지만 메모리는 줄지 않습니다.
예상 문제
Q26. MoE에 대한 설명으로 맞는 것은 무엇입니까?
- A. 토큰마다 모든 전문가가 계산에 참여한다
- B. 쓰지 않는 전문가는 메모리에 올리지 않아도 된다
- C. Dense 모델보다 과적합에 덜 취약하다
- D. 토큰당 연산은 일부 전문가만 하지만, 모든 전문가의 가중치를 메모리에 올려 둬야 한다
정답과 해설 보기
정답: D
MoE는 연산은 일부 전문가만 하지만, 메모리에는 전부 올려야 합니다. 그리고 과적합에 더 취약합니다. (197)
프롬프트·컨텍스트·하네스 엔지니어링은 무엇이 다를까요?
개념 요약
- 프롬프트 엔지니어링은 LLM에 줄 지시문을 쓰고 구성하는 일입니다(Anthropic 정의).
- 컨텍스트 엔지니어링은 지시문 밖의 도구 정의, 검색 결과, 대화 기록, 메모리까지 포함해서 모델이 보는 정보 전체를 고르고 관리하는 일입니다. 원칙은 “가능한 한 작고 신호가 강한 토큰 집합”입니다.
- 하네스 엔지니어링은 모델을 둘러싼 실행 환경(도구, 루프, 검증, 권한, 상태)을 설계하는 일입니다. “에이전트 = 모델 + 하네스”라고 합니다. 그래프 엔지니어링은 노드, 엣지, 공유 상태로 흐름을 고정하는 것입니다(LangGraph). 둘 다 표준 정의가 없는 최근 용어입니다.
- 시스템 프롬프트는 세션 시작 전에 심어 두는 지시라서 세션 내내 유지됩니다. 사용자 프롬프트는 매번 바뀝니다. 시스템 프롬프트가 길면 대화에 쓸 자리가 줄어듭니다.
- 순서는 가장 단순한 것부터입니다. 프롬프트 → 컨텍스트 → 하네스 → 그래프 순으로 올라가고, 효과는 평가(eval)로 확인합니다. 실전 팁: 역할 명시, 출력 형식 지정, 하지 말 것 말하기, 한 번에 하나, 한 줄씩 조정.
헷갈리기 쉬운 비교
- 프롬프트는 컨텍스트의 일부이고, 컨텍스트 관리는 하네스가 하는 일 중 하나입니다. 범위가 프롬프트 ⊂ 컨텍스트 ⊂ 하네스로 넓어진다고 생각하면 됩니다.
- 컨텍스트가 “무엇을 보여 줄지”라면, 하네스는 “무엇을 하게 하고 어떻게 확인할지”입니다.
- 컨텍스트 오염 신호: 같은 질문 반복, 앞에서 정한 것을 까먹음, 앞뒤 안 맞는 답. 이럴 때는 세션을 새로 여는 것이 안전합니다.
예상 문제
Q27. 다음 중 “컨텍스트 엔지니어링”의 예로 가장 알맞은 것은 무엇입니까?
- A. 출력 형식을 표로 지정하는 한 줄을 프롬프트에 추가한다
- B. 에이전트가 파일 전체를 매번 붙여 넣는 대신 파일 경로만 들고 있다가 필요할 때 읽게 한다
- C. 모델 가중치를 LoRA로 학습한다
- D. GPU를 HBM이 큰 것으로 바꾼다
정답과 해설 보기
정답: B
모델이 보는 정보를 고르고 관리하는 것이 컨텍스트 엔지니어링입니다(just-in-time). A는 프롬프트 엔지니어링입니다. (208)
Q28. 시스템 프롬프트에 대한 설명으로 맞는 것은 무엇입니까?
- A. 세션 시작 전에 넣어 두는 지시로, 세션 내내 유지되고 길어질수록 대화에 쓸 자리가 줄어든다
- B. 사용자가 매 턴 새로 입력하는 질문이다
- C. 컨텍스트 윈도우와 상관없이 무제한으로 넣을 수 있다
- D. 한 번 계산하면 이후 토큰 생성 때 메모리에서 읽을 필요가 전혀 없다
정답과 해설 보기
정답: A
시스템 프롬프트는 세션 내내 유지되고 컨텍스트 자리를 차지합니다. K와 V는 한 번만 계산해도 새 토큰마다 읽어야 해서 D는 틀립니다. (188)
출처: donggrri.tistory.com/208 , donggrri.tistory.com/188
블로그에서 다루지 않은 개념도 알아 둘까요? (보충)
- 재현율 vs 정밀도 (보충): 정밀도는 모델이 “양성”이라고 한 것 중 진짜 양성의 비율입니다(헛경보를 줄이고 싶을 때). 재현율은 진짜 양성 중 모델이 잡아낸 비율입니다(놓치면 안 될 때, 예: 환자 진단, 불량 검출). 데이터가 불균형하면 정확도만 보면 안 되고, 재현율이나 정밀도를 같이 봐야 합니다.
- 지식 증류 (보충): 큰 모델(teacher)의 출력을 작은 모델(student)이 따라 배우게 해서, 작고 빠른 모델을 만드는 방법입니다. 양자화(189)는 숫자 비트를 줄이는 것이고, 증류는 모델 자체를 작게 다시 학습하는 것이라서 서로 다릅니다.
- 4D: 위임·설명·분별·책임 (보충): 위임(Delegation)은 무엇을 AI에게 맡기고 무엇을 사람이 할지 정하는 것입니다. 설명(Description)은 목표, 맥락, 형식을 분명히 전달하는 것입니다. 분별(Discernment)은 AI 결과를 검증하고 판단하는 것입니다. 책임(Diligence)은 결과에 대한 책임과 윤리, 투명성을 지키는 것입니다. 블로그에서 비슷한 이야기를 찾자면 이렇습니다. 200번 글의 “AI는 손이고 머리는 나”(위임)와 “검증 프롬프트로 자기 말끼리 맞는지 확인”(분별), 214번 글의 공통·조건·검산·형식(설명·분별)이 가깝습니다. 다만 블로그가 4D라는 이름을 쓰지는 않았습니다.
출처로 삼은 글은 무엇인가요?
- donggrri.tistory.com/183
- donggrri.tistory.com/184
- donggrri.tistory.com/186
- donggrri.tistory.com/188
- donggrri.tistory.com/189
- donggrri.tistory.com/191
- donggrri.tistory.com/193
- donggrri.tistory.com/196
- donggrri.tistory.com/197
- donggrri.tistory.com/199
- donggrri.tistory.com/200
- donggrri.tistory.com/202
- donggrri.tistory.com/208
- donggrri.tistory.com/214