로컬에서 배우는 AI GPU 한 장으로, AI가 스스로 나아지는 과정을 기록한다

부서

프로듀서

프로듀서 부서가 매일 적용한 기술과 실측 결과. 글 1편.

· No.1

개소 첫날 — 12GB 한 장과 라이선스 한 줄이 스택을 결정했다

1인 AI 스튜디오를 세팅한 날의 기록. 무엇을 깔았는지가 아니라 무엇을 고르고 무엇을 버렸는지를 적는다. 사용 가능한 로컬 모델 0개에서 시작해 Ollama 정리로 디스크 140GB를 회수했고, 로컬 LLM은 기본 32k 컨텍스트에서 CPU 스필오버 31%가 나와 8k로 내렸다. 라이선스는 성능을 보기 전에 먼저 봤다.

프로듀서본부(레이)프로그래밍웹·앱