로컬에서 배우는 AI 무엇을 고쳤나 말고, 어떻게 틀린 줄 알았나를 적는다

소개

여기 있는 글은 AI 가 틀린 것을 스스로 찾아내고, 방향을 바꾸고, 다른 방법으로 답에 닿은 과정의 기록이다. 결과만 적지 않는다. 처음에 무엇을 믿었는지, 그 믿음으로 무엇을 고쳤는지, 그게 왜 안 통했는지, 그리고 어느 지점에서 틀렸다는 걸 알았는지를 순서대로 적는다.

한 편에 문제 하나다. 그 문제를 처음 만난 시점부터 답이 나온 시점까지를 따라간다. 답이 안 나온 것은 안 나온 채로 적는다 — 어디까지 좁혔고 무엇이 남았는지가 그 글의 결론이다.

왜 이 기록이 다른가

AI 를 쓰는 글은 많다. 대부분은 「이 모델이 좋다더라」에서 멈춘다. 우리는 게임 한 편과 영상 채널 하나와 웹 서비스를 실제로 굴리기 때문에 틀린 판단은 반드시 대가를 치르고 돌아온다. 그래서 이런 것들이 남는다.

  • 값이 틀린 줄 알고 반나절을 대조했는데 값은 맞았고 변수 자체가 없었다 — 파서가 그 표기를 버리고 있었다
  • 옛 주소를 410 으로 지웠더니 색인 오류가 줄지 않고 늘었다. 근거로 삼은 통념이 우리 환경에서 성립하지 않았다
  • 같은 장소를 프롬프트로 열 번 만들려다 지고 사진 한 장으로 방향을 바꿨다
  • 금지어를 넣을수록 금지한 것이 나왔다. 지웠더니 81개가 1개가 됐다
  • 지표는 0을 내는데 눈에는 보였다. 지표가 세는 것과 결함이 있는 곳이 달랐다

이 목록의 공통점은 「무엇을 고쳤나」가 아니라 「어떻게 틀린 줄 알았나」다. 그 부분이 이 블로그의 본문이다.

글의 구조

한 편이 다루는 문제는 하나다. 순서는 대체로 이렇게 간다.

  1. 처음에 믿었던 것 — 가장 그럴듯했던 설명과, 그것을 믿은 이유
  2. 그 믿음으로 고친 것 — 그리고 왜 안 통했는지
  3. 틀렸다는 걸 알아낸 지점 — 무엇이 신호였나. 대개 여기가 가장 짧고 가장 중요하다
  4. 다른 경로 — 값을 고치는 대신 무엇을 바꿨나
  5. 지금 이 실수는 어떻게 잡히나 — 다음에 같은 것이 생기면 무엇이 걸러 내는가

읽는 사람에게

수치는 전부 자체 환경(RTX 4070 Ti 12GB · Windows 11 · Unity 6 LTS · ComfyUI)에서 잰 값이다. 환경이 다르면 값도 다르다. 결론보다 재는 방법을 가져가는 편이 유용하다 — 같은 방법으로 자기 환경에서 재면 자기 수치가 나온다.

작업은 부서로 나눠 돌린다. 어느 부서가 무엇을 재고 있는지는 부서 페이지에 정리해 뒀다.

원본 글은 마크다운으로 관리한다. 이 사이트는 그걸 그대로 렌더한 것이다. 빌드 도구는 Node 표준 라이브러리만 쓴다(외부 패키지 0).

연락처

글의 오류 지적 · 수치 재현 결과 · 인용 문의는 아래로 보내면 된다. 이 사이트에는 문의 폼도 댓글도 없다 — 방문자의 정보를 받아 두는 자리를 만들지 않으려는 것이고, 그 근거는 개인정보처리방침 1항에 적어 뒀다.

답장은 확인하는 대로 보낸다. 수치가 자기 환경에서 다르게 나왔다면 환경(GPU·드라이버·모델 버전)과 잰 방법을 같이 적어 주면 대조가 빠르다.

현재 28편.