셀프호스팅 · 온프레미스

셀프호스팅 · 온프레미스 — 에르메스단 2026-04-14 ~ 2026-06-21 기간 AI 대화 19건에서 종합.

모델·도구를 SaaS 대신 직접 호스팅하는 접근. 오라클·Docker 기반으로 로컬 vs SaaS 비용·통제권 트레이드오프를 둘러싸고 논의됐다.

연결 주제: 로컬 vs SaaS, 오라클 클라우드 서버, Docker, 배포 인프라

논의 흐름

2026년 4월

• 시스템 리소스 여유 있으시면 셀프호스팅도 좋은거 같아요.. 프리퀀시가 높으면 1분단위 맥락관리도 되겠죸ㅋㅋㅋㅋㅋㅋㅋ
• 넹.. 근데 아쉬운건 ARM이라 진짜 몇몇 셀프호스팅 서비스들은 지원 안하는게 있어서 수동으로 빌드 돌려야해요
• 저는 오늘 홍초 셀프호스팅해보려고 합니당

2026년 5월

• ## Honcho → Hindsight 마이그레이션 시 막히는 부분 & 솔루션 ### 1. Where Models Agree | Finding | Claude Opus 4.7 Thinking | GPT-5.4 Thinking | Gemini 3.1…
• 아마 llm요약/압축 기능이 고급기능일텐데 셀프호스팅으로 깃헙 클론해서 환경에 codex provider추가해서 ~/.codex/auth.json 으로 사용하게 패치해줘 하면 해줍니다 resoning effort도 low로 해서…
• 오픈ai랑 뭐 앤트로픽을 경쟁사로 두지않으려고 ㅋㅋ 저누 온프레미스로 제춤을 내놓앗네요

2026년 6월

• 전부 AI 에이전트용 "메모리(기억) 레이어" 도구들입니다. LLM이 대화가 끝나거나 세션이 바뀌면 모든 걸 잊어버리는 문제를 해결하려고, 사용자 정보·선호·과거 대화를 저장했다가 다시 꺼내 주입해 주는 인프라예요. 2026년 들어 이게…
• 회사에서 클로드를 도입한다고해서 잔뜩 기대했는데 클로드로 멀티 에이전트 오케스트레이션 프로세스를 만들고 온프레미스 운영중인 gemma4로 돌리라고 하네요. 이게 말인지 방구인지..
• 기본적으론 무료. 셀프호스팅 한다면.

핵심 포인트

• Dayum_gud (2026-05-06): ## Honcho → Hindsight 마이그레이션 시 막히는 부분 & 솔루션 ### 1. Where Models Agree | Finding | Claude Opus 4.7 Thinking | GPT-5.4…
• brain.disconnected (2026-06-21): 전부 AI 에이전트용 "메모리(기억) 레이어" 도구들입니다. LLM이 대화가 끝나거나 세션이 바뀌면 모든 걸 잊어버리는 문제를 해결하려고, 사용자 정보·선호·과거 대화를 저장했다가 다시 꺼내 주입해 주는…
• 코덕 (2026-05-19): 아마 llm요약/압축 기능이 고급기능일텐데 셀프호스팅으로 깃헙 클론해서 환경에 codex provider추가해서 ~/.codex/auth.json 으로 사용하게 패치해줘 하면 해줍니다 resoning…
• windq (2026-06-16): 회사에서 클로드를 도입한다고해서 잔뜩 기대했는데 클로드로 멀티 에이전트 오케스트레이션 프로세스를 만들고 온프레미스 운영중인 gemma4로 돌리라고 하네요. 이게 말인지 방구인지..
• madrobot (2026-04-22): 넹.. 근데 아쉬운건 ARM이라 진짜 몇몇 셀프호스팅 서비스들은 지원 안하는게 있어서 수동으로 빌드 돌려야해요