3. LLM 연결
에이전트, LLM 도구(압축·검토), 이미지 프롬프트 변환, 대화 테스트는 LLM을 씁니다. 이 장에서는 연결을 하나 만들고 작업마다 쓸 모델을 정합니다.
준비 (둘 중 하나)
- 로컬 LLM: LM Studio 같은 OpenAI 호환 서버를 PC에서 켭니다. LM Studio의 기본 주소는
http://127.0.0.1:1234/v1입니다. 작품 내용이 PC 밖으로 나가지 않습니다. - 외부 API: Ollama Cloud 등 서비스의 API 키를 준비합니다. 작품 내용이 그 서비스로 전송되며, 처음 쓸 때 작품마다 동의를 묻습니다.
따라 하기
- 오른쪽 위 톱니바퀴(설정) → LLM을 엽니다.
- 연결 카드에 연결 이름, API 기본 주소를 확인합니다. 처음부터 있는 로컬 LLM 카드를 그대로 써도 되고, 외부 서비스는 연결 추가에서 제공자 프리셋을 고릅니다.
- 외부 서비스라면 인증 키 칸에 API 키를 붙여 넣습니다. 키는 저장할 때 마스터 비밀번호로 암호화되어 금고에 들어갑니다.
- 모델 목록으로 쓸 수 있는 모델을 불러오고 기본 모델을 고른 뒤 저장합니다.
- 응답 테스트로 일반 응답과 스트리밍이 되는지 확인합니다.
- 아래 작업별 모델 표에서 작업마다 연결과 모델을 정합니다. 비워 두면 그 연결의 기본 모델을 씁니다. 다양성(온도) 은 낮을수록 일정하고 높을수록 다양합니다. 표 아래 사용량에서 달별 요청과 토큰을 볼 수 있습니다.
확인
응답 테스트가 성공하면 준비가 끝났습니다. 생각(reasoning)이 긴 모델은 압축처럼 정해진 형식으로 답하는 작업에서 오래 걸릴 수 있습니다. 그런 작업에는 instruct 모델을 고르는 편이 빠릅니다.
자세한 내용: LLM 연결