Ollama

Ollama — 에르메스단 2026-04-14 ~ 2026-06-21 기간 AI 대화 20건에서 종합.

로컬 머신에서 오픈소스 LLM을 손쉽게 구동하는 런타임. 에르메스단에서는 로컬 vs SaaS 비용·정신건강 트레이드오프와 Gemma · Qwen (오픈소스 모델)·Llama 모델 구동, RAG 임베딩 백엔드 맥락에서 반복 등장했다.

연결 주제: 로컬 vs SaaS, Gemma · Qwen (오픈소스 모델), Llama, 양자화 · GGUF, RAG

논의 흐름

2026년 4월

• 다들 어떤 방식으로 세팅하세요? 1. ollama + 에르메스 2. docker + 에르메스 3. cli + 에르메스

2026년 5월

• 됩니다. Hindsight는 OpenAI API 키 기반으로 돌릴 수 있습니다. ## 지원 LLM 프로바이더 README에서 공식 확인된 목록입니다 : - `openai` ✅ - `anthropic` - `gemini` - `groq` -…
• 클로드의 껍데기에 다른 AI의 뇌를 끼워 넣는 일이 마침내 공식적으로 가능해졌습니다. Ollama가 Claude Desktop과의 연동을 발표했습니다. 이제 명령어 한 줄이면 알아서 실무를 돕는 Claude Cowork나 Claude Code에서…
• ollama cloud 는 안써봤는데요ㅠㅠ 로컬모델들은 저는 취미용(?!) 아니면 안쓰기는 합니다 ㅠㅠ LLM들은 특히 잘 몰라요.ㅠㅠ GPU 빌려서 테스트하는것도 거의 이미지랑 영상만 하고 ㅠㅠ LLM은 몇번 찍먹해보고 다 실망해서 ㅠㅠ 이번에…

2026년 6월

• qwen은 보통 ollama에서 구독으로 쓰시나요? 아니면 로컬로 돌리시는 편인가용?
• oMLX라고 올라마나 lm studio같은 맥북용 LLM추론 서버인데 오픈클로나 헤르메스, 클로드 코드같은 에이전트 ai를 따로 설치안하고 로컬로 사용할수있네요
• + 텍스트 프로세싱이나 지표 간단요약 정도면 로컬 ollama 노드 붙여서 요약까지 하라고 하면 비용 많이 단축되서 좋더라구요

핵심 포인트

• Dayum_gud (2026-05-06): 됩니다. Hindsight는 OpenAI API 키 기반으로 돌릴 수 있습니다. ## 지원 LLM 프로바이더 README에서 공식 확인된 목록입니다 : - `openai` ✅ - `anthropic` -…
• 헤르메뚜 (2026-05-10): 클로드의 껍데기에 다른 AI의 뇌를 끼워 넣는 일이 마침내 공식적으로 가능해졌습니다. Ollama가 Claude Desktop과의 연동을 발표했습니다. 이제 명령어 한 줄이면 알아서 실무를 돕는 Claude…
• darkest_alex (2026-05-17): ollama cloud 는 안써봤는데요ㅠㅠ 로컬모델들은 저는 취미용(?!) 아니면 안쓰기는 합니다 ㅠㅠ LLM들은 특히 잘 몰라요.ㅠㅠ GPU 빌려서 테스트하는것도 거의 이미지랑 영상만 하고 ㅠㅠ LLM은 몇번…
• 한가한 어피치 (2026-05-27): @roach | 개발 | 로치봇 제 컴이 M5 max 128gb 맥북이고 거기에 헤르메스 설치해서 올라마 로컬api로 사용해서 구축하려고 하는데 이 과정을 배우는데 필요한 설명들이 있는건가요?
• 헤응메스 (2026-04-14): 다들 어떤 방식으로 세팅하세요? 1. ollama + 에르메스 2. docker + 에르메스 3. cli + 에르메스