[TIL] LLM
LLM
Large Language Model의 줄임말로 사람처럼 글을 이해하고 답을 만들고 대화를 할 수 있는 AI
다음 토큰을 확률 적으로 예측하는 모델
컨텍스트 윈도우 - AI의 "작업 기억"
정의: 모델이 답을 만들 때 참조하는 입력 전체 (작업 기억)
- 시스템 프롬프트
- 사용자 프롬프트
- 대화 내역
- 도구 주입 컨텍스트
AI도 사람과 마찬가지로 오래 대화할수록 처음 이야기한 내용이 가물가물 해진다
그래서 컨텍스트도 관리를 해줘야하는데 다음과 같은 방법이 있다
- 명확한 "할 일 목록" 먼저 주기
- 새 작업은 새 채팅으로 시작
- 관련 파일, 문서만 골라 컨텍스트에 넣기
LLM을 사용할 때 위의 3가지를 습관처럼 만들어두자
환각 - "확신에 찬 거짓말"의 구조
LLM은 정답을 알고도록 설계된 것이 아니라 다음에 올 가장 그럴듯한 말을 예측하도록 설계됐다.
모르는 영역에서 모른다고 말하면 유저 입장에서 불편함이 커지니 그럴 듯한 무언가를 창조하는 식으로 답을 한다.
대응
- 회의하고 검증
- IDE 피드백 적극 활용
- LLM이 실수할 수 있으니 적극적으로 반박
- 모델이 직접 외부 정보를 가져와 답을 보강하게 만들기
프롬프트 작성 팁 3가지
- 명확하고 구체적으로 작성
- 자료를 분리해 라벨링
- 짧게 시작, 막혔을 때 늘리기
