온디바이스 AI 1년 사용기 — 2026년, 브라우저와 로컬에서 돌리는 기준선
WebGPU 브라우저 추론과 Ollama 로컬 모델을 1년간 쓰며 정리한 2026년 기준 기선을 다룹니다. 소형 모델의 가능·불가능 경계와 메모리 예산, 클라우드와의 혼합 설계를 담은 분석 글입니다.
온디바이스 AI 1년 사용기 — 2026년, 브라우저와 로컬에서 돌리는 기준선
1년 전엔 “브라우저에서 LLM이 돌아간다” 자체가 데모였습니다. 지금은 블로그의 사이드 기능에 붙여볼 수 있는지를 진지하게 고민하는 단계가 됐습니다. 지난 1년간 브라우저(WebGPU)와 로컬(Ollama)에서 소형 모델을 돌려보며 늘어난 것과 그대로인 것을 정리합니다. 벤치 수치는 공개된 출처가 있는 것만 인용하고, 체감은 체감이라고 표시했습니다.
가장 큰 변화는 WebGPU의 브라우저 커버리지입니다. Safari가 2025년 9월 Safari 26과 함께 WebGPU를 정식 출시하면서 네 개 주요 엔진(Chrome/Edge, Safari, Firefox) 모두에서 WebGPU가 사용 가능해졌습니다. Can I use의 WebGPU 지원 표 기준으로도 글로벌 지원률은 85%를 넘어섰습니다. “WebGPU가 있는 브라우저”를 전제로 기능을 만들어도 되는 시대가 됐다는 뜻입니다.
다만 두 가지 예외는 여전합니다. Linux 일부 드라이버/구형 기기에서는 하드웨어 제약으로 활성화되지 않고, iOS/Android의 모바일 WebGPU는 데스크톱보다 메모리 제약이 훨씬 빡빡합니다. 그래서 실무에선 “WebGPU 있으면 로컬 모델, 없으면 서버 폴백”의 이중 구조가 기본이 됩니다.
생태계: WebLLM과 transformers.js
브라우저 쪽 생태계도 안정화됐습니다. WebLLM은 MLC 기반의 고성능 브라우저 추론 엔진으로, GitHub 저장소에서 프리빌트 모델 빌드 목록을 꾸준히 갱신하고 있고, Qwen·Llama·Gemma 계열의 소형 모델을 브라우저 탭 안에서 돌릴 수 있습니다. 허깅페이스 쪽은 transformers.js v4 발표로 임베딩·분류·토크나이저 같은 경량 작업의 경험이 정리됐습니다. 둘의 역할 분담은 대략 이렇습니다.
- WebLLM: 생성(요약, 초안 작성, 챗 UI)처럼 LLM 본체가 필요한 작업
- transformers.js: 임베딩·분류·재순위처럼 소형 인코더 모델로 충분한 작업
로컬 서버 쪽은 Ollama가 사실상 표준이 됐습니다. ollama run qwen3:4b 한 줄로 모델이 돌고, OpenAI 호환 API를 노출하니 클라이언트 코드가 클라우드와 로컬을 거의 구분하지 않게 됐습니다. Qwen3 라이브러리 페이지처럼 모델별 다운로드 수와 변형 태그가 정리돼 있어 선택 기준이 한결 명확해졌습니다.
소형 모델로 감당되는 것, 안 되는 것
1년 써본 결론부터: 소형 모델의 승부처는 “범용 지능”이 아니라 “좁고 반복적인 언어 작업”입니다.
감당되는 작업 (1B~4B급):
- 요약·축약: 뉴스나 회의록을 3문장으로 줄이는 작업은 4B급이면 충분합니다. 체감상 품질 변동폭이 클라우드 대비 크지 않습니다.
- 분류·라벨링: 지원 문구를 버킷으로 나누는 작업. 임베딩 모델이면 더 싸게 됩니다.
- 자동완성·다음 문장 제안: 짧은 생성이라 환각 리스크가 구조적으로 작습니다.
- 형식 변환: 마크다운↔구조화 텍스트처럼 입력이 출력을 강제하는 작업.
안 되는 작업:
- 긴 맥락 추론: 여러 문서를 걸쳐 논리를 잇는 작업은 여전히 대형 모델의 영역입니다.
- 최신 지식: 소형 모델의 학습 시점 한계가 그대로 드러납니다.
- 코드 생성 전체 흐름: 함수 단위 스니펫은 가능하지만, 파일 수준 리팩터링은 컨텍스트 관리부터 무리입니다.
속도 감각은 공개 벤치를 참고하는 게 정확합니다. Qwen3·Gemma3 소비자 하드웨어 벤치는 일반적인 소비자 GPU에서 4B급 모델이 실용적인 토큰 속도로 돌아감을 보여줍니다. 제 체감과도 일치했습니다. 구체적 수치는 하드웨어·양자화에 따라 크게 달라지므로 이 글에선 생략합니다.
메모리 예산 감각
온디바이스 실패의 대부분은 속도가 아니라 메모리입니다. 대략의 감각:
- 4비트 양자화 기준, 모델 파라미터 수 ≈ 필요한 VRAM(GB). 4B 모델은 GPU 메모리 4~6GB가 필요하다고 봅니다.
- 브라우저는 여기서 더 보수적이어야 합니다. 탭 하나가 쓸 수 있는 메모리는 데스크톱보다 모바일에서 훨씬 작고, WebGPU 버퍼 할당 실패는 페이지 단위로 터집니다.
- 로컬 API 서버는 모델 상주 메모리와 요청 배치 메모리를 더해서 계산합니다. “돌아는 가는데 다른 작업이 죽는” 상태가 제일 위험합니다.
그래서 브라우저에서는 1B2B급, 로컬 서버에서는 4B8B급이 2026년 기준 무난한 기선이라고 정리합니다. 그 이상은 “되는 경우”가 되지 “기본”이 아닙니다.
혼합 설계 — 로컬과 클라우드를 나누는 기준
결국 실무 설계는 로컬/클라우드 혼합이 됩니다. 제가 쓰는 나눔 기준은 이렇습니다.
로컬 (브라우저 WebGPU / Ollama)
- 입력이 민감해서 나가면 안 되는 작업
- 지연 시간이 짧아야 하는 작업 (자동완성)
- 호출 비용이 수만 건 단위로 쌓이는 작업 (분류)
클라우드 API
- 품질이 제품 차별점인 작업
- 긴 맥락·복잡한 추론
- 실패 시 비용이 큰 작업 (코드 배포 관련 판단)
라우팅은 단순하게 시작합니다. 작업 종류로 정적 분기하고, 로컬 실패(모델 로드 실패, 메모리 부족) 때만 폴백으로 클라우드로 넘깁니다. “작게 시작해 클라우드로 올리고 비용을 보며 내려오는” 순서가 반대보다 안전했습니다. 로컬 모델의 출력이 제품에 닿는 자리라면, 클라우드와 동일한 기준의 회귀 테스트 세트를 로컬 경로에도 그대로 돌려야 한다는 점만 덧붙입니다.
정리
1년간의 변화를 한 줄로 압축하면 “가능성이 아니라 기선이 생겼다”입니다. WebGPU는 전 엔진 지원에 도달했고, WebLLM·transformers.js·Ollama로 도구가 정리됐으며, 소형 모델의 역할 범위가 명확해졌습니다. 남은 설계 결정은 기술이 아니라 배분입니다 — 어떤 작업을 사용자의 기기로 보내고 어떤 작업을 클라우드에 둘지. 이 결정을 내리는 기준으로 이 글의 분류표와 메모리 감각이 도움이 되길 합니다.
레퍼런스
- WebKit Features in Safari 26.0 — Safari의 WebGPU 정식 출시 안내 (2025-09-15)
- WebGPU — Can I use — 브라우저별 WebGPU 지원 현황 표
- WebLLM — 브라우저 내 LLM 추론 엔진 공식 사이트
- mlc-ai/web-llm — GitHub — WebLLM 저장소 및 프리빌트 모델 목록
- Transformers.js v4 — Hugging Face — v4 발표와 새로워진 환경 설정 안내
- Qwen3 — Ollama Library — Ollama의 Qwen3 모델 변형 목록
- Qwen3 and Gemma3 Performance on Consumer Hardware — 소비자 하드웨어 기준 소형 모델 벤치 (2025-06-26)