본문으로 건너뛰기

Frontend AI Ops · EP 05

일한 것을 증거로 바꾼다 — 로그북·지표·면접의 증명 구조

AI로 생산성을 높였다는 문장이 신뢰를 만들지 못하는 이유. 작업 로그북 5칸, PR 검증 블록, Baseline-Intervention-Outcome 지표, 90분 과제 로그까지, 경험을 증명 가능한 기록으로 바꾸는 단위들을 한 편으로 묶었다. 시리즈의 마지막 편.

· 10분 읽기

일한 것을 증거로 바꾼다 — 로그북·지표·면접의 증명 구조

3월에 나는 이 시리즈에서 다섯 편을 썼다. 작업 로그북 운영법, PR 운영 플레이북, 과제 전형 90분 런북, 임팩트 지표 설계, 영향도 중심 포트폴리오. 제목은 전부 ‘이직에 바로 쓰는’으로 시작했다. 주제는 저마다 달라 보였지만, 돌아보면 같은 문장 하나를 다섯 번 쓴 것이었다.

“AI로 빨리 만들었다”는 사실 자체는 차별점이 아니다. 그걸 증명할 수 있는가가 차별점이다.

그리고 다시 읽어보니, 이 다섯 편이 시리즈에서 가장 부끄러운 편들이었다. ‘증명’이 주제인 글들이 가상의 숫자로 가득했다. 고객 문의가 절반으로 줄고, 리뷰 왕복이 반으로 줄고, 온보딩이 이틀에서 하루가 되는 포트폴리오 카드. 전부 ‘예:‘로 시작하는, 측정해 본 적 없는 수치였다. 여기에 30초·40초·90초 버전의 면접 답변 스크립트까지 정성껏 붙어 있었다. 로그 없이도 외워서 말할 수 있는 답변이 무엇을 증명하겠는가.

이 글은 3월의 다섯 편을 한 편으로 합쳐 다시 쓴 것이다. 프레임은 남기고, 답변 템플릿과 가상 지표는 전부 걷어냈다. 그 자리에 내가 실제로 쌓아 둔 기록 — 세션 로그, 블로그 2년 운영 데이터, 실제로 돌아간 PR 방식 — 을 이식했다. 시리즈의 마지막 편이다.

1. “생산성을 높였습니다”가 신뢰를 만들지 못하는 이유

포트폴리오와 이력서에서 가장 자주 나오는 문장은 이것이다.

“AI로 개발 생산성을 크게 높였습니다.”

이 문장만으로 신뢰가 만들어지지 않는 이유는, 읽는 사람이 확인하려는 게 속도가 아니기 때문이다. 면접관은 세 가지를 본다.

  1. 재현 가능한가 — 같은 조건에서 같은 결과를 다시 낼 수 있는가
  2. 실패를 통제했는가 — 어디서 망가졌고, 어떻게 막았는지 말할 수 있는가
  3. 팀에 이식 가능한가 — 개인 요령이 아니라 남에게 전달되는 기준인가

그래서 실제 면접의 질문은 결과가 아니라 의사결정으로 온다. 무엇을 자동화했고, 어디서 사람이 개입했으며, 어떤 기준으로 배포를 결정했는지. 이 세 질문에 자기 기록으로 답할 수 있는 사람은 드물다. 답할 수 있다면 그게 차별점이다.

시리즈를 다시 쓰면서 만든 장치들이 정확히 여기서 만난다. 게이트는 리포트를 남기고, 계약은 위반 이력을 남기고, 런북은 회고를 남기고, 리허설은 결정 로그를 남긴다. 장치들이 남기는 것은 전부 기록이다. 이 글은 그 기록을 ‘경험의 증거’로 바꾸는 마지막 고리다. 단위를 작은 것부터: 작업 → 협업 → 측정 → 증명.

2. 기록의 최소 단위 — 로그북 5칸

처음부터 거대한 템플릿을 만들면 대부분 두 주 안에 무너진다. 로그북은 다섯 칸이면 충분하다.

## Work Logbook

### 1) 작업 맥락
- 작업명:
- 사용자 문제:
- 제약 조건:

### 2) AI 입력
- 도구/모델:
- 핵심 프롬프트:
- 참고 컨텍스트:

### 3) 사람 개입 지점
- 채택한 제안:
- 반려한 제안:
- 최종 설계 근거:

### 4) 검증 결과
- 테스트:
- 성능 지표(LCP/INP/CLS):
- 모니터링/에러 로그:

### 5) 최종 결정
- 결과(배포/보류/롤백):
- 근거:
- 다음 반복 개선 1가지:

핵심은 “많이 쓰기”가 아니라 결정의 근거를 남기기다. 다섯 칸 중 세 칸(사람 개입, 검증, 결정)은 AI에 대한 기록이 아니라 나에 대한 기록이다. 로그북은 AI 사용 일지가 아니라 판단의 궤적이다.

그런데 로그북을 ‘매번 손으로 쓰는 문서’로만 생각하면 유지가 안 된다. 나는 이미 자동으로 쌓이는 로그 위에서 일하고 있다. 세션 로그다. 내 에이전트 작업 세션은 전부 기록되고 전문검색으로 회수된다 — 214개 세션을 0.42초에 훑는다. 3개월 전에 XHTML→Markdown 라운드트립에서 막혔던 기록(#0821)도, quick-xml 파서로 매크로 문법을 보존하던 기록(#0793)도 지금은 검색 한 번으로 다시 꺼낸다. 어떤 질문을 던졌고, 어디서 막혔고, 어떻게 풀었는지 — 세션 로그의 구조는 로그북의 다섯 칸과 거의 겹친다. 세 번째 편이 이걸 장애 대응의 기억장치라 불렀다면, 여기서는 그게 곧 개인 경험의 증명 장치다.

2년 회고에 이 문장이 있다. “기록은 자산이다. 글 66편, 세션 로그 수천 개. 쌓아둔 기록이 다음 결정의 재료다.” 쓸 때는 몰랐는데, 로그북은 이 문장의 실천 형태였다.

3. 협업의 단위 — PR 본문 4블록

개인의 기록이 팀의 것이 되는 단위는 PR이다. PR 본문은 “변경 요약”이 아니라 “검증 계획”까지 포함해야 한다. 내가 고정한 블록은 넷이다.

  • 배경/문제 — 왜 이 변경이 필요한가
  • 핵심 변경점 — 어떤 컴포넌트·상태·API가 달라졌는가
  • 리스크 — 깨질 수 있는 사용자 흐름과 롤백 방법
  • 검증 방법 — 자동·수동 체크 항목
## 배경
- 해결하려는 문제:
- 사용자 영향:

## 핵심 변경점
- 변경 파일/모듈:
- 동작 변화:

## 리스크
- 영향을 받을 수 있는 영역:
- 롤백 방법:

## 검증
- [ ] 단위 테스트
- [ ] E2E 스모크
- [ ] 주요 브라우저 수동 확인
- [ ] 접근성 점검(키보드/스크린리더 핵심 경로)

AI에게 본문 초안을 맡겨도 되지만, AI가 쓴 문장을 쓰는 게 목적이 아니다. 팀이 의사결정 근거를 공유할 수 있는 형식을 고정하는 것이 목적이다. 여기에 두 번째 편의 PR 템플릿에 있는 ‘AI 사용 범위’ 블록(채택한 제안·직접 수정한 부분·반려한 제안)을 붙이면, AI가 제안한 것과 내가 판단한 것의 경계가 PR에 영구히 남는다. “본인 기여를 어떻게 증명하나요?”라는 질문은 이렇게 PR 링크로 답하면 된다.

리뷰도 형식의 문제다. “전체 리뷰해줘”는 잡음만 늘린다. 관점을 좁혀야 한다 — 접근성, 상태 동기화, 성능, 타입 경계. 나는 여기에 한 단계 더 얹어서 구현과 리뷰를 다른 에이전트에게 맡긴다. 구현은 컨텍스트를 쌓은 주력에게, 리뷰는 다른 모델에게. 두 의견이 갈리는 지점이 진짜 설계 결정이 필요한 곳이고, 거기서 사람이 판단한다. 리뷰가 사람의 재량이 아니라 구조로 돌아가야 PR이 증거가 된다.

이 구조가 실제로 돌아간 기록이 블로그에 있다. archive 검색 UX 개선 사례인데, Goal(archive 페이지 검색 개선)과 Scope(app/archives, app/api/posts, app/lib/posts만 수정), Verification(pnpm check, pnpm build)이 계약으로 고정되어 있고, 사람이 내린 결정(canonical 라우트 유지, 리다이렉트 UX 보존)이 기록으로 남아 있다. “AI를 썼다”가 아니라 “어디에 썼고 무엇을 사람이 지켰는지”가 읽히는 글이다. 그게 협업 단위의 증명이다.

4. 측정의 단위 — Baseline → Intervention → Outcome

원문 다섯 편 중 두 편(임팩트 지표 설계, 영향도 포트폴리오)은 사실상 쌍둥이였다. 둘 다 결국 같은 것을 말한다. 개선은 문장이 아니라 실험으로 증명된다는 것.

  • Baseline — 개입 전의 상태를 숫자로 고정한다
  • Intervention — AI를 어디에, 어떤 통제 장치와 함께 넣었는지
  • Outcome — 같은 조건에서 다시 재서 무엇이 바뀌었는지

임팩트 지표는 네 종류만 잡으면 충분하다. 사용자 체감 속도(LCP/INP/CLS), 품질 안정성(배포 후 오류율·같은 버그 재발률), 개발 생산성(PR 리드타임·리뷰 왕복 횟수), 운영 효율(MTTD/MTTR — 세 번째 편의 지표다). 값은 저마다 재야 하는 숫자고, 정의를 먼저 고정하는 게 할 일이다.

실험 카드는 이렇게 남긴다.

### 문제(Baseline)
- 어떤 사용자/팀 문제가, 어떤 숫자로 확인되는가

### 개입(Intervention)
- AI를 어디에 어떻게 사용했는가
- 사람이 최종 검증한 기준은 무엇인가

### 결과(Outcome)
- 지표 전후 비교
- 부작용/한계

### 다음 실험
- 다음에 보완할 점 1~2개

원문의 카드에는 알찬 숫자가 들어 있었다. 문의 건수가 절반으로 줄고, 검증 누락 비율이 크게 떨어지고, 온보딩이 이틀에서 하루가 되는. 전부 측정해 본 적 없는 예시 수치였고, 네 번째 편에서 CFR 표의 가상 숫자를 비웠던 것과 같은 이유로 여기서도 값을 전부 뺐다. 측정한 적 없는 숫자를 지표로 인용하는 순간 기록이 아니라 소설이 되기 때문이다.

대신, 이 구조로 실제로 읽히는 사례를 하나 남긴다. 이 블로그 자체다.

  • Baseline: 블로그 2년 회고에서 확인했다. “조회수 상위 글과, 내가 커리어에서 실제로 활용한 지식이 일치하지 않았다.” 완전 가이드 글이 검색 유입을 가져왔지만, 정작 내가 일에 쓰는 지식은 시리즈 쪽에 있었다.
  • Intervention: 완전 가이드를 그만두고 시리즈 중심으로 재편했고, 글마다 관련 글을 내부 링크로 연결했다.
  • Outcome: 시리즈 글의 개별 조회수는 완전 가이드보다 낮다. 그런데 체류 시간이 길고 순서대로 읽는 사람이 많다. 내부 링크로 들어온 유입 하나가 평균 2~3 페이지를 읽고 간다.

인기 지표(조회수)와 가치 지표(체류·순차독)가 갈라져 있다는 걸 알 수 있었던 것도 baseline이 있었기 때문이다. 측정이 없었으면 “가이드가 트래픽을 가져오네”에서 끝났을 것이다. 증명은 숫자가 예쁜 데서 나오지 않고, 비교 가능한 상태에서 나온다.

5. 증명의 단위 — 90분 안에 결정을 보여준다

이제 기록이 증명되는 가장 압축된 현장. 과제 전형이나 라이브 코딩처럼 시간이 고정된 자리다. 90분을 가정하면 타임라인은 이렇게 간다.

  • 0~10분: 성공 기준 고정. 구현이 아니라 채점 기준을 먼저 쓴다. 필수 요구사항 3개, 가산점 2개, 시간이 모자라면 버릴 항목 1개. 이 메모 자체가 “처음 10분은 구현하지 않고 성공 기준을 정의했습니다”라는 신호가 된다.
  • 10~35분: 스캐폴딩과 경계 분리. AI에게 요청할 때 길게 부탁하기보다 경계를 강하게 지정한다 — 상태는 URLSearchParams로 동기화, 로딩/에러/빈 상태 분리, 접근성 속성 포함. 이때 확인할 것: 데이터 페칭과 UI 상태가 섞였는지, 클라이언트 범위가 불필요하게 넓은지, 타입이 any로 도망갔는지.
  • 35~55분: 결함 제거. 가장 중요한 구간이다. 우선순위는 정해져 있다 — 오류 흐름(API 실패 시 복구 가능한가), 접근성(키보드·라벨·포커스), 성능(불필요한 재렌더). “작동은 되지만 신뢰할 수 없는 코드”를 “작동하고 방어 가능한 코드”로 바꾸는 시간.
  • 55~75분: 검증 로그. 테스트가 짧아도 흔적은 남긴다. 유틸 테스트 1~2개, 핵심 흐름 수동 체크리스트, 실패 케이스 재현 메모.
  • 75~90분: 설명 가능성. 코드를 더 만지지 않는다. 제출 메모에 네 줄 — 요구사항 충족 범위, 포기한 항목과 이유, 리스크 1~2개, 다음 개선 우선순위.
## 과제 대응 로그

### 성공 기준
- 필수:
- 가산:
- 제외(버림):

### AI 활용 범위
- 사용 구간:
- 직접 수정 구간:
- 검증 항목:

### 품질 점검
- 오류 흐름:
- 접근성:
- 성능:
- 테스트/검증 로그:

### 결과 요약
- 완료:
- 미완료·버린 항목과 이유:
- 남은 리스크:

왜 이 타임라인이 증명인가. 90분이라는 제약에서는 “얼마나 만들었는가”를 보여줄 시간 자체가 없다. 남는 건 우선순위 결정뿐이다. 무엇을 필수로 정했고, 무엇을 버렸고, 무엇을 어떻게 검증했는지. 그 결정들이 로그로 남아 있는 제출물은 이미 결과물이 아니라 판단의 기록이다. 마감이 없는 실무에서도 사실은 마찬가지고, 과제 전형은 그걸 90분에 압축해서 보여주는 자리일 뿐이다.

6. 답변은 템플릿이 아니라 로그에서 나온다 — 시리즈의 결론

원문 다섯 편은 각자 면접 답변 스크립트로 끝났다. 세 문장 구조, 90초 프레임, 다섯 단계 답변법. 이 글에서 그 전부를 폐기했다. 이유는 하나다. 그 스크립트들은 로그 없이도 말할 수 있었고, 로그 없이 말할 수 있는 답변은 증명이 아니다.

“그 숫자 어떻게 쟀어요?” — 여기서 멈추는 답변은 아무리 매끄러워도 소용이 없다. 반대로 기록이 있는 사람은 질문이 어느 방향에서 와도 그 자리에서 조립한다. 결정 이유는 로그북의 다섯째 칸에서, 기여 경계는 PR의 AI 사용 범위 블록에서, 숫자는 실험 카드의 Baseline에서, 우선순위 감각은 과제 로그의 ‘버린 항목과 이유’에서 나온다. 이 글의 2장부터 5장까지가 전부 그 재료 만들기였다.

그래서 시리즈의 결론은 이렇다. 게이트가 배포 가능함을 증명하고, 계약이 품질을 고정하고, 런북이 장애를 기억하게 하고, 리허설이 변경을 통제하게 한다. 그 장치들이 남기는 것은 전부 기록이고, 기록이 쌓이면 그것은 곧 경력이다. AI를 잘 쓰는 사람이 아니라, 품질을 통제하는 사람. 다섯 편에 걸쳐 돌아온 이 문장을 여기서 끝낸다.

이렇게 시리즈는 5편으로 완결된다. 2월에 시작해 24편까지 불었던 원문들은 이 다섯 편으로 합쳐졌고, 원문의 URL은 죽이지 않고 리다이렉트로 이어 준다. 나의 원칙이기도 하다 — 새 것이 증명되기 전에는 낡은 것을 내리지 않는다. 그것도 기록의 보존이니까.

시작 체크리스트

경험을 증거로 바꾸기 시작한다면, 이 순서다.

  1. 다음 작업부터 로그북 다섯 칸을 PR 본문에 붙인다
  2. 검증은 문장(“괜찮습니다”)이 아니라 흔적(테스트 결과, 로그, 링크)으로 남긴다
  3. 개선을 주장하기 전에 Baseline부터 잰다 — 숫자가 없으면 주장하지 않는다
  4. AI가 제안한 것과 사람이 판단한 것을 PR에 분리 기록한다
  5. 면접·포트폴리오 문장은 스크립트를 외우지 말고 자기 로그에서 가져온다

남는 것

2년 회고에서 나는 이렇게 썼다. “나는 처방을 쓰고 있는데, 처방의 근거가 될 실전 기록이 없었다.” 그 문장이 이 시리즈를 다시 쓴 이유였고, 첫 편은 거기서 시작했다. 다섯 편을 마치고 이제 그 문장을 고쳐 쓸 수 있다. 처방만 남은 글이 아니라, 그 옆에 기록이 있는 글이 됐다.

생성이 저렴해지면 증명이 비싸진다. 그 비싼 쪽에 자리 잡는 방법은 결국 하나다 — 오늘의 판단을 내일의 증거로 쓸 수 있게, 오늘의 기록을 남기는 것.

Related