양자화 · GGUF

양자화 · GGUF — 에르메스단 2026-04-24 ~ 2026-06-24 기간 AI 대화 11건에서 종합.

가중치를 저비트로 압축해 로컬에서 큰 모델을 돌리게 하는 기법(GGUF·Q4 등). Ollama·Llama 로컬 구동과 맥 VRAM 한계 맥락에서 로컬 vs SaaS 선택을 좌우했다.

연결 주제: 로컬 vs SaaS, Ollama, Llama, 맥 하드웨어

논의 흐름

2026년 4월

• 지금 서버 gpu로 llama.cop 로 kimi 2.6 이랑 Qwen 3.6-27b 둘다 Q4 퀀트로 돌려봤는데, 키미가 모델이 커서 엄청 느린데 또 대답 성능은 qwen3.6 보다 뛰어나게 좋은지 몰겠네요

2026년 5월

• Ollama에서 fp 는 거의 사용 안될 수준이고,, q4 돌렸는데, 24toc 나옵니다. Qwen 3.6 35b a3 q8 보다 성능은 떨어지는데 답은 2배 느리네요
• 저는 3090 3way 에 dp 1 로 gemma 4 27b a4b awq q4 올려놓고 쓰는데 , 웹에 올라온 글들 분석하는 데에는 제법 잘해주는데
• 아니 근데 양자화 그러는데 Q,K,M 이거는 뭔 차이임니까

2026년 6월

• dpe1 about 14 hours ago • edited about 14 hours ago First of all it doesnt support tools. Second of all its not as good as Qwen 3.5 4B, so…
• https://huggingface.co/unsloth/GLM-5.2-GGUF
• 3090 맥스가 35b q4 정도 였던거같네요

핵심 포인트

• 문광훈/B2BSaas/마케터 (2026-06-17): dpe1 about 14 hours ago • edited about 14 hours ago First of all it doesnt support tools. Second of all its not as…
• Grace (2026-04-24): 지금 서버 gpu로 llama.cop 로 kimi 2.6 이랑 Qwen 3.6-27b 둘다 Q4 퀀트로 돌려봤는데, 키미가 모델이 커서 엄청 느린데 또 대답 성능은 qwen3.6 보다 뛰어나게 좋은지 몰겠네요
• Dayum_gud (2026-05-07): Ollama에서 fp 는 거의 사용 안될 수준이고,, q4 돌렸는데, 24toc 나옵니다. Qwen 3.6 35b a3 q8 보다 성능은 떨어지는데 답은 2배 느리네요
• aimaster3658 (2026-05-27): 저는 3090 3way 에 dp 1 로 gemma 4 27b a4b awq q4 올려놓고 쓰는데 , 웹에 올라온 글들 분석하는 데에는 제법 잘해주는데
• 화난 스카피 (2026-06-24): https://huggingface.co/unsloth/GLM-5.2-GGUF