지금까지 공부한 내용을 글 한 편에 모았습니다. 개념 요약, 자주 틀리는 함정, 문서·데이터를 AI로 다루는 문제의 풀이 순서, 그리고 연습하면서 제가 반복한 실수까지 넣었습니다. 내일 아침에는 이 글과 맨 아래 링크만 보면 되도록 정리했습니다.

목차

  1. 이 글 사용법 (아침 30~40분)
  2. 핵심 개념 한 장 요약
  3. 자주 틀리는 함정 10개 (O/X)
  4. 문서·데이터 AI 활용 문제 풀이 요약
  5. 나의 실수 체크리스트
  6. 마무리와 관련 글

이 글은 어떻게 쓰면 될까요? (아침 30~40분)

시간할 일
0~10분2. 핵심 개념 한 장 요약을 처음부터 끝까지 읽습니다. ★ 표시가 붙은 비교 포인트는 소리 내서 한 번씩 말해 봅니다.
10~15분3. 함정 10개를 풉니다. 정답을 가리고 O/X를 먼저 정한 다음 확인합니다. 틀린 건 2번으로 돌아가서 다시 봅니다.
15~25분시간이 남으면 예상 문제 1편이나 2편에서 틀렸던 주제 문제만 골라 다시 풉니다. 새 문제를 많이 푸는 것보다 헷갈렸던 걸 확실히 하는 게 낫습니다.
25~35분4. AI 활용 문제 풀이 요약을 읽고, 프롬프트 예시의 줄마다 무슨 역할인지 짚어 봅니다.
35~40분5. 나의 실수 체크리스트를 읽습니다. 실제로 문제를 풀 때 이 체크박스를 떠올리면 됩니다.

💡 아침에 새로운 걸 배우려고 하지 마십시오. 이미 아는 걸 꺼내기 쉽게 정리하는 시간입니다.

핵심 개념을 한 장으로 요약하면 무엇일까요?

주제마다 헷갈리는 비교 포인트만 적었습니다. ★은 특히 자주 헷갈렸던 주제입니다.

① Temperature·Top-p ★

  • temperature를 낮추면 분포가 뾰족해져서 1등 토큰에 몰리고, 답이 일정해집니다. 높이면 평평해져서 답이 다양해집니다(엉뚱한 답도 늡니다).
  • temperature는 분포의 모양을, top-k와 top-p는 후보의 범위를 정합니다.
  • top-k는 후보 수가 고정입니다. top-p는 누적 확률이 p가 될 때까지 남겨서, 분포가 뾰족하면 후보가 적고 평평하면 많습니다.
  • 계산 예: 확률 0.50 / 0.30 / 0.10 / 0.06 이고 top-p = 0.85면, 누적이 0.50 → 0.80 → 0.90이라 0.85를 처음 넘는 3번째까지, 3개가 남습니다.

② Prefill·Decode·KV Cache ★

  • Prefill은 프롬프트를 한꺼번에 처리해서 **연산이 병목(compute-bound)**입니다.
  • Decode는 토큰을 하나씩 만듭니다. 토큰마다 가중치와 앞 토큰의 K·V를 메모리에서 다시 읽어야 해서 **메모리가 병목(memory-bound)**입니다. 그래서 HBM 같은 고대역폭 메모리가 중요합니다.
  • KV Cache는 앞 토큰의 K와 V만 저장해서 다시 씁니다. Q는 재사용하지 않고 새 토큰마다 새로 만듭니다.
  • 답변이 길어질수록 Decode 단계가 늘어서 응답이 느려집니다. 컨텍스트가 길어지면 KV Cache도 커집니다.

③ 지도·비지도·강화학습 ★

  • 라벨이 없고 비슷한 것끼리 묶으면 **군집화(비지도)**입니다.
  • 라벨이 있고 숫자를 맞히면 회귀, 범주(예/아니오, 스팸 여부)를 맞히면 분류입니다. 둘 다 지도학습입니다.
  • 보상을 받으며 시행착오로 배우면 강화학습입니다(게임, 로봇, RLHF).
  • 함정: “비가 올지 예/아니오”는 숫자 같아 보여도 분류입니다.

④ 과적합·데이터 누수 ★

  • 과적합은 학습 점수는 높은데 새 데이터 점수가 낮은 것입니다(학습 99%, 새 데이터 60%).
  • 학습 손실은 계속 줄어드는데 검증 손실이 다시 오르기 시작하면 과적합 신호입니다. 검증 손실이 가장 낮던 지점에서 멈추는 게 조기 종료입니다.
  • 줄이는 법은 데이터 늘리기, 정규화, 조기 종료입니다. 적은 데이터로 모델을 키우고 더 오래 학습하면 오히려 나빠집니다.
  • 데이터 누수는 평가 쪽 정보가 학습에 섞여서 평가 점수가 거짓으로 높게 나오는 것입니다. 예: 전체 데이터에 전처리를 먼저 하고 나서 나누기.

⑤ 제로샷·퓨샷·CoT vs 파인튜닝·LoRA ★

  • 제로샷, 퓨샷, CoT는 입력만 바꿉니다. 가중치는 그대로입니다. 그래서 새 세션에서 형식을 원하면 예시를 다시 넣어야 합니다.
  • 파인튜닝(SFT)은 지시–응답 데이터로 가중치를 추가 학습합니다.
  • LoRA는 원래 가중치는 고정하고 작은 어댑터만 학습합니다. “LoRA가 원래 가중치 전체를 바꾼다”는 틀린 말입니다.
  • 출력 형식이 들쭉날쭉하면 먼저 퓨샷부터 해 봅니다. 학습은 그다음입니다.

⑥ 환각

  • LLM은 사실을 찾아보는 게 아니라 그럴듯한 다음 토큰을 확률로 예측해서 환각이 생깁니다.
  • 줄이는 법은 RAG, 검색 도구, 출처 확인과 교차 확인입니다. temperature를 올리는 건 반대 방향입니다.
  • “모르면 모른다고 답해”는 도움은 되지만 완벽하지 않습니다. 검증을 같이 해야 합니다.

⑦ Embedding·Vector DB·RAG

  • Embedding은 글을 의미 벡터로 바꾸는 것, Vector DB는 그 벡터를 저장하고 찾는 것, LLM은 최종 답을 만드는 것입니다.
  • RAG는 문서를 찾아 Context에 넣는 전체 방식입니다. Vector DB는 필수가 아닙니다. 키워드 검색이나 웹 검색으로 찾아도 RAG입니다.
  • 넣은 문서가 틀리거나 오래됐으면 RAG를 써도 틀린 답이 나옵니다.
  • 원-핫 벡터는 서로 다른 단어끼리 코사인 유사도가 항상 0입니다.

⑧ LLM·Workflow·Agent

  • 가르는 기준은 도구를 쓰느냐가 아니라 다음 행동을 누가 정하느냐입니다. 사람이 순서를 정해 두면 Workflow, LLM이 스스로 정하면 Agent입니다.
  • “매일 9시에 검색 → 요약 → 메일”은 Workflow입니다.
  • Agent 안전장치: 권한은 필요한 만큼만 주고, 삭제·발송처럼 되돌릴 수 없는 행동 전에는 사람 승인을 받습니다.

⑨ Self-Attention (Q·K·V)

  • 도서관 비유: Q는 검색어, K는 책 라벨, V는 책 내용입니다.
  • 점수는 Q와 K를 비교해서 만들고, 실제로 섞는 건 V입니다.
  • 예: Softmax 결과가 B 0.7, C 0.3이면 새 표현은 **0.7·V(B) + 0.3·V(C)**입니다.

⑩ Transformer

  • Self-Attention은 토큰끼리 정보를 나누는 회의, FFN은 토큰마다 혼자 가공하는 개인 작업입니다.
  • Attention은 모든 토큰을 한꺼번에 봐서 순서를 모릅니다. 그래서 **위치 정보(Positional Encoding)**를 더합니다.
  • 처리 순서는 텍스트 → 토큰 → 토큰 ID → 임베딩 벡터입니다.

⑪ 양자화 ★

  • 가중치 메모리 = 파라미터 수 × 파라미터당 바이트입니다. FP16은 2바이트, INT8은 1바이트, INT4는 0.5바이트입니다.
  • 계산 예: 7B 모델을 INT4로 하면 70억 × 0.5바이트 = 3.5GB입니다. 13B를 FP16에서 INT8로 바꾸면 26GB → 13GB입니다.
  • Decode가 memory-bound라서, 읽을 바이트가 줄어드는 양자화의 효과가 큽니다.
  • 양자화는 같은 모델의 숫자 정밀도를 낮추는 것이고, 지식 증류는 작은 모델을 새로 학습하는 것입니다.

⑫ 사전학습 → SFT → RLHF

  • 순서는 사전학습 → SFT → RLHF입니다.
  • 사전학습은 텍스트 자체가 정답이라 자기지도 학습입니다.
  • RLHF에서 사람은 정답을 쓰는 게 아니라 여러 답에 순위를 매깁니다. 그걸로 보상 모델을 만들고 강화학습으로 조정합니다.
  • DPO는 보상 모델과 강화학습 단계 없이 선호 데이터로 바로 학습합니다.

⑬ 토큰·컨텍스트 윈도우

  • 토큰 수는 글자 수나 단어 수와 같지 않습니다. 같은 뜻이라도 언어에 따라 다릅니다.
  • 추론 모델의 보이지 않는 추론 토큰도 출력 사용량에 들어갑니다.
  • 컨텍스트 윈도우를 넘으면 줄이거나, 나누거나, 요약해서 보냅니다.

⑭ MoE ★

  • 라우터가 토큰마다 일부 전문가만 고릅니다. 연산은 일부 전문가만 합니다.
  • 그래도 메모리에는 모든 전문가의 가중치를 올려 둬야 합니다. 연산은 줄어도 메모리는 줄지 않습니다.
  • 토큰이 한 전문가에 몰리지 않게 load balancing 보조 손실을 둡니다.
  • Sparse 모델은 오히려 과적합에 더 취약한 편입니다.

⑮ 프롬프트·컨텍스트 엔지니어링, 시스템 프롬프트

  • 범위는 프롬프트 ⊂ 컨텍스트 ⊂ 하네스 순서로 넓어집니다.
  • 컨텍스트 엔지니어링은 모델이 보는 정보 전체를 고르는 일입니다. 예: 파일 전체를 매번 붙이지 않고, 경로만 들고 있다가 필요할 때 읽게 하기.
  • 시스템 프롬프트는 세션 내내 유지되고, 길수록 대화에 쓸 자리가 줍니다.
  • 긴 세션에서 앞의 규칙을 잊기 시작하면, 결정 사항만 요약해서 새 세션으로 옮깁니다.

⑯ 재현율·정밀도 ★ (보충)

  • 재현율 = 잡은 진짜 양성 ÷ 전체 진짜 양성. “놓치면 안 될 때”(질병 선별, 불량 검출) 봅니다.
  • 정밀도 = 잡은 진짜 양성 ÷ 내가 양성이라고 한 전체. 헛경보를 줄이고 싶을 때 봅니다.
  • 계산 예: 실제 불량 100개 중 80개를 잡고 정상품 40개를 불량으로 잘못 판정했다면, 재현율 = 80 ÷ 100 = 0.80, 정밀도 = 80 ÷ 120 ≈ 0.67입니다.
  • 불량 10개, 정상 990개에서 전부 “정상”이라고 하면 정확도는 99%지만 **재현율은 0%**입니다.

⑰ 지식 증류 (보충)

  • 큰 모델(선생님)의 출력을 작은 모델(학생)이 따라 배우게 해서 작고 빠른 모델을 만듭니다.
  • 양자화와 함께 경량화 방법이지만, 증류는 모델을 새로 학습한다는 점이 다릅니다.

⑱ 4D: AI와 일하는 네 가지 역량 (보충)

  • 위임(Delegation): 무엇을 AI에게 맡기고 무엇을 내가 할지 정합니다.
  • 설명(Description): 목표, 맥락, 형식을 분명하게 전달합니다.
  • 분별(Discernment): AI 결과를 그대로 믿지 않고 검증합니다.
  • 책임(Diligence): 결과에 책임지고, 윤리와 투명성을 지킵니다.

자주 틀리는 함정 10개, O/X로 맞힐 수 있을까요?

정답을 손으로 가리고 먼저 O/X를 정해 보십시오.

1. 매번 같은 답을 받고 싶으면 temperature를 올린다.

정답 보기

→ X. 낮춰야 1등 토큰에 몰려서 답이 일정해집니다. 올리면 다양해집니다.

2. top-p는 언제나 같은 개수의 후보를 남긴다.

정답 보기

→ X. 그건 top-k입니다. top-p는 분포 모양에 따라 후보 수가 바뀝니다.

3. Decode 단계는 연산이 병목이라 GPU 코어를 늘리면 가장 빨라진다.

정답 보기

→ X. Decode는 memory-bound입니다. 메모리 대역폭이 가장 직접적으로 도움이 됩니다. 연산 병목은 Prefill입니다.

4. KV Cache는 앞 토큰의 Q, K, V를 모두 저장해서 다시 쓴다.

정답 보기

→ X. K와 V만 저장합니다. Q는 새 토큰마다 새로 만듭니다.

5. 라벨 없는 고객 데이터를 비슷한 그룹으로 묶는 건 지도학습 회귀다.

정답 보기

→ X. 비지도학습 군집화입니다. 회귀는 라벨이 있고 숫자를 예측할 때입니다.

6. 퓨샷 예시를 한 번 넣으면 모델이 그 형식을 학습해서 다음 세션에서도 따른다.

정답 보기

→ X. 퓨샷은 입력만 바꿉니다. 가중치는 그대로라 다음에도 예시를 다시 넣어야 합니다.

7. RAG를 하려면 반드시 Vector DB가 있어야 한다.

정답 보기

→ X. 키워드 검색이나 웹 검색으로 찾아 Context에 넣어도 RAG입니다.

8. 도구를 쓰면 Agent, 안 쓰면 Workflow다.

정답 보기

→ X. 기준은 다음 행동을 누가 정하느냐입니다. Workflow도 도구를 씁니다.

9. MoE는 토큰마다 일부 전문가만 계산하니까, 쓰지 않는 전문가는 메모리에 안 올려도 된다.

정답 보기

→ X. 연산은 일부만 하지만, 어떤 전문가가 뽑힐지 모르니 전부 메모리에 올려 둬야 합니다.

10. 7B 모델을 INT4로 양자화하면 가중치 메모리는 약 3.5GB다.

정답 보기

→ O. 70억 × 0.5바이트 = 3.5GB입니다. (FP16은 14GB, INT8은 7GB)

문서·데이터 AI 활용 문제는 어떻게 풀까요?

규정 문서와 데이터 파일 여러 개를 AI에게 주고 판정·건수·금액을 구하는 문제의 풀이법입니다. 자세한 버전은 전략 글에 있습니다.

final-review-flow

접근 순서

  1. 모든 문제를 먼저 읽습니다. 어떤 문제가 어떤 파일을 쓰는지, 겹치는 계산이 뭔지 봅니다.
  2. 규정의 숫자, 기간, 예외만 메모합니다. 한도, 기준 시간, 적용 기간, 제외 대상입니다.
  3. 한 번에 시키는 프롬프트를 씁니다. 같은 파일로 같은 판정을 하는 문제는 묶습니다.
  4. 표와 검산을 받습니다.
  5. 경계 행을 원본과 대조합니다.
  6. 조건을 다시 확인하고 답을 적습니다.

한 턴 프롬프트 공식

문제 원문 그대로 → 필요한 파일 전부 첨부 → 규정 숫자와 경계 기준
→ 처리 순서 → 표 열 → 검산 → 마지막 줄 답 형식
  • 문제 원문은 요약하지 말고 그대로 붙입니다. “제외”, “초과”, “이상”, “단,” 한 마디가 답을 바꿉니다.
  • 필요한 파일은 처음부터 전부 붙입니다.
  • 규정 숫자는 프롬프트에 직접 씁니다. “한도와 같은 값은 위반 아님”처럼 경계 기준도 마찬가지입니다.
  • 말투는 ‘~해’로 시킵니다. “표가 필요하다”(메모 말투) 대신 “아래 열로 표를 만들어”(시키는 말투).
메모 말투 (X)시키는 말투 (O)
규정으로 판정해야한다첨부한 규정으로 행마다 위반 여부를 판정해.
표로 정리가 필요하다아래 열로 표를 만들어.
필요한 데이터가 있으면 요청해(넣지 않기. 필요한 건 내가 이미 압니다.)

출력 줄이기

  • AI에게는 모든 행을 판정하게 합니다.
  • 표로는 위반 행과 경계 행만 받고, 나머지는 건수만 받습니다.
  • 출력이 길수록 긴 표 중간에서 한 줄을 잘못 읽는 실수가 늡니다.

검산 4가지

검산프롬프트에 넣을 문장
행 수“원본 행 수 = 제외 행 + 남은 행인지 확인해.”
행마다 계산식 열“각 행에 실근로 = 퇴근 − 출근 − 휴게 식을 그대로 적어.”
두 경로 합계“날짜별 합계와 직원별 합계를 따로 구해서 같은지 확인해.”
조건 Y/N“문제의 모든 조건을 다시 나열하고 답이 각각 맞는지 Y/N으로 표시해.”

⚠️ 같은 숫자를 다시 더하는 건 검산이 아닙니다. 이미 틀린 값을 다시 더하면 당연히 “일치합니다”가 나옵니다. 진짜 검산은 원본 파일을 다시 붙이고 다른 경로로 다시 계산하는 것입니다.

경계 사례 체크리스트

  • ☐ 기준값과 정확히 같은 값 (‘초과’인지 ‘이상’인지)
  • ☐ 기간의 첫날과 마지막 날
  • ☐ 자정을 넘긴 시간
  • ☐ 중복 입력
  • ☐ 정정·취소된 건
  • ☐ 예외 대상 (제외 직군, 특수 근무 형태)
  • ☐ 발효일 당일에 새 기준을 쓰는지 옛 기준을 쓰는지
  • ☐ 휴일 근무의 휴게 시간 처리

표에 경계 Y/N 열을 두게 하고, 경계 Y인 줄 서너 개는 원본에서 직접 눈으로 대조합니다.

짧은 프롬프트 예시 (가상의 출장비 규정)

[규정.pdf, 직원마스터.xlsx, 출장내역.csv 첨부]
출장내역 40건을 전수 검사해서 아래 세 문제에 답해.
(문제 원문 그대로 붙여 넣기)
위반 기준: ① 일비 > 100,000 ② 숙박비 > 80,000 ③ 토·일이면서 사전승인=N. 한도와 같은 값은 위반 아님.
위반 금액: ①② 한도 초과분, ③ 전액.
순서: 사번으로 부서 매칭 → 건별 판정 → 표.
표는 위반 행과 경계 행만: |사번|부서|요일|일비|숙박비|사전승인|위반①②③|위반금액 계산식|경계Y/N|
나머지는 건수만 적어.
검산: 위반 + 비위반 = 40, 부서별 위반 합 = 전체 위반 건수, 조건별 Y/N 재확인.
마지막 줄: 문제1=N건 / 문제2=N원 / 문제3=부서명

짧게 써도 공식의 모든 단계가 다 들어갑니다.

내가 반복한 실수는 무엇이었을까요?

연습하면서 실제로 여러 번 했던 실수입니다. 문제를 풀 때 이 순서대로 떠올립니다.

보내기 전

  • ☐ 문제 조건을 요약하지 않고 원문 그대로 붙였나? (요약하다가 제외 조건을 빠뜨린 적 있음)
  • ☐ 필요한 파일을 전부 첨부했나? (파일 하나를 빠뜨리거나 0개로 보낸 적 있음)
  • ☐ 문장이 ‘~해’, ‘~만들어’, ‘~계산해’로 끝나나? (‘~해야한다’ 메모 말투 금지)
  • ☐ 규정 숫자와 경계 기준을 프롬프트에 직접 썼나?
  • ☐ 검산을 구체적으로 썼나? (행 수, 계산식 열, 두 경로 합계, 조건 Y/N)
  • ☐ ‘필요한 데이터가 있으면 요청해’ 같은 설계 질문을 뺐나?
  • ☐ 마지막 줄 답 형식을 넣었나?

마무리 전

  • ☐ 경계 행을 원본과 직접 대조했나? 특히 발효일 당일, 정정이 반영 안 된 건, 휴일 근무의 휴게 시간.
  • ☐ AI가 ‘확인 불가’라고 한 답을 그대로 쓰지 않았나?
  • ☐ 조건별 Y/N을 다시 봤나?
  • ☐ 최종 결과를 다시 확인했나? 계산이 맞아도 옮겨 적다가 틀어지면 소용없습니다.

4D로 보면 제일 약한 건 분별(Discernment)

연습을 4D로 돌아보면 위임과 설명은 점점 좋아졌는데, 분별이 가장 약했습니다. AI가 “검산 결과 일치합니다”라고 하면 그대로 믿었기 때문입니다. 앞으로는 이렇게 합니다.

  • 원본 파일을 다시 첨부합니다. 앞에서 만든 표만 보고 확인하면 그 표의 오류까지 따라갑니다.
  • 다른 경로로 다시 계산합니다. 금액이 큰 2~3건을 골라 처음부터 다시 계산하게 하고, 이전 값과 다른 줄만 보여 달라고 합니다.
  • AI 답 안에 조건과 어긋나는 단서(예: 제외 대상인 사람이 합계에 들어감)가 있는지 내 눈으로 봅니다.

마무리와 함께 볼 관련 글은 무엇일까요?

개념은 비교 포인트로, 문제는 원문 그대로, 판정은 전부, 출력은 위반·경계만, 검산은 다른 경로로, 경계는 내 눈으로.

관련 글