벤치마크 · 모델 비교
모델 성능을 비교·검증하는 실사용 평가.
벤치마크 · 모델 비교 — 에르메스단 2026-04-14 ~ 2026-06-25 기간 AI 대화 96건에서 종합.
모델 성능을 비교·검증하는 실사용 평가. 신규 출시마다 Claude·GPT·Gemini 체감 비교가 오갔고, 벤치 점수와 실제 작업 체감의 괴리도 논의됐다.
연결 주제: 모델 출시 뉴스, Claude, GPT, Gemini
논의 흐름
2026년 4월
- Comprehensive Analysis 세 모델 모두 에이전틱 워크플로우와 할루시네이션 양 축에서 Sonnet 4.6 > Gemma 4 31B Dense > Darwin-35B-A3B-Opus 순위에 완전히 합의했습니다. 이 합의는 매우 높은…
- 안녕하세요. 제가 만들고 있는 오픈소스 도움될거같아서 살짝 말씀드리고자 조심스레 메시지 올리게되었습니다! 당신의 GPT 5.5와 Kimi K2.6 이 팀을 만들어 토론하게 하세요. 오픈코드에 팀모드가 곧 생깁니다! 4.0.0 을 기대해주세요. 이제…
- 저 이거가 요즘 생각이 좀 많은데. Gpt5.5에서 이게 필요한가? 하는 생각을 살짝... 하고 있슴미다. 그냥 생산성 2배로 때려박는게 더 나은 것 같은데...? 하는생각.어차피 테스트하네스랑 e2e까지 알아서 하는데...
2026년 5월
- ## Honcho → Hindsight 마이그레이션 시 막히는 부분 & 솔루션 ### 1. Where Models Agree | Finding | Claude Opus 4.7 Thinking | GPT-5.4 Thinking | Gemini 3.1…
- 🌀 Ouroboros 한국 개발자의 오픈소스 Ouroboros, Claude Plan Mode를 제치고 모델링·시뮬레이션 벤치마크 1위 기록 - 반응 순위: 7위 - 반응점수: 47 - 추천: 29 · 댓글: 9 - 링크:…
- 3. 타 AI 에이전트 대비 Manus AI의 주요 강점 Manus AI는 OpenAI의 Deep Research, Operator, 그리고 Anthropic의 Claude Computer Use 등 주요 경쟁 모델들과 비교할 때 뚜렷한 차별점을…
2026년 6월
- 목차 ## 1. 코덱스 골(Goal) 모드의 이해와 활용 코덱스의 골 모드는 AI에게 최종 목표를 제시하여, AI가 스스로 작업을 반복하고 목표 달성 여부를 확인하며 작업을 완료하도록 돕는 기능이다. ## 1.1. 골 모드란…
- 전부 AI 에이전트용 "메모리(기억) 레이어" 도구들입니다. LLM이 대화가 끝나거나 세션이 바뀌면 모든 걸 잊어버리는 문제를 해결하려고, 사용자 정보·선호·과거 대화를 저장했다가 다시 꺼내 주입해 주는 인프라예요. 2026년 들어 이게…
- 🎴 [2026-06-18 evening] 에르메스단 카드뉴스 👉 https://discord.com/channels/1496692826723975308/1517127639171862610 신규 1545건 · AI 215건 · 참여자 78명 📌…
핵심 포인트
- Dayum_gud (2026-05-06): ## Honcho → Hindsight 마이그레이션 시 막히는 부분 & 솔루션 ### 1. Where Models Agree | Finding | Claude Opus 4.7 Thinking | GPT-5.4…
- AI영끌맨 (2026-05-13): 🌀 Ouroboros 한국 개발자의 오픈소스 Ouroboros, Claude Plan Mode를 제치고 모델링·시뮬레이션 벤치마크 1위 기록 - 반응 순위: 7위 - 반응점수: 47 - 추천: 29 · 댓글: 9…
- ai인젝션해라 (2026-06-20): 목차 ## 1. 코덱스 골(Goal) 모드의 이해와 활용 코덱스의 골 모드는 AI에게 최종 목표를 제시하여, AI가 스스로 작업을 반복하고 목표 달성 여부를 확인하며 작업을 완료하도록 돕는…
- brain.disconnected (2026-06-21): 전부 AI 에이전트용 "메모리(기억) 레이어" 도구들입니다. LLM이 대화가 끝나거나 세션이 바뀌면 모든 걸 잊어버리는 문제를 해결하려고, 사용자 정보·선호·과거 대화를 저장했다가 다시 꺼내 주입해 주는…
- Ai.trend.Ray (2026-05-11): 3. 타 AI 에이전트 대비 Manus AI의 주요 강점 Manus AI는 OpenAI의 Deep Research, Operator, 그리고 Anthropic의 Claude Computer Use 등 주요 경쟁…
근거 인용 (12건)
2026년 4월 16일
DG
Dayum_gud
Comprehensive Analysis 세 모델 모두 에이전틱 워크플로우와 할루시네이션 양 축에서 Sonnet 4.6 > Gemma 4 31B Dense > Darwin-35B-A3B-Opus 순위에 완전히 합의했습니다. 이 합의는 매우 높은 신뢰도를 가집니다. Sonnet 4.6은 SWE-bench 79.6%, Agentic Computer Use 72.5%, Terminal-Bench 59.1% 등 에이전틱 전용 벤치마크에서 압도적이며, AA-Omniscience ~38% 할루시네이션율로…
2026년 4월 24일
김연
김연규
안녕하세요. 제가 만들고 있는 오픈소스 도움될거같아서 살짝 말씀드리고자 조심스레 메시지 올리게되었습니다! 당신의 GPT 5.5와 Kimi K2.6 이 팀을 만들어 토론하게 하세요. 오픈코드에 팀모드가 곧 생깁니다! 4.0.0 을 기대해주세요. 이제 클로드 대신 kimi k2.6 을 메인으로 자신있게 추천할 수 있어요. 더 싸고 더 좋습니다. https://github.com/code-yeongyu/oh-my-openagent
2026년 5월 6일
DG
Dayum_gud
## Honcho → Hindsight 마이그레이션 시 막히는 부분 & 솔루션 ### 1. Where Models Agree | Finding | Claude Opus 4.7 Thinking | GPT-5.4 Thinking | Gemini 3.1 Pro Thinking | Evidence | |---------|-----------|-----------|-----------|----------| | 가장 큰 난관 = Peer Representation 자동 생성 부재 | ✓ | ✓ | ✓ |…
2026년 5월 11일
Ai
Ai.trend.Ray
3. 타 AI 에이전트 대비 Manus AI의 주요 강점 Manus AI는 OpenAI의 Deep Research, Operator, 그리고 Anthropic의 Claude Computer Use 등 주요 경쟁 모델들과 비교할 때 뚜렷한 차별점을 가집니다. 3.1 완전 자율 실행 (End-to-End Autonomy) 가장 큰 강점은 작업의 시작부터 끝까지 완전한 자율성을 보장한다는 점입니다. 기존의 에이전트들이 중간 단계에서 사용자의 개입이나 확인을 요구하는 반면, Manus는 목표가…
2026년 5월 13일
AI
AI영끌맨
🌀 Ouroboros 한국 개발자의 오픈소스 Ouroboros, Claude Plan Mode를 제치고 모델링·시뮬레이션 벤치마크 1위 기록 - 반응 순위: 7위 - 반응점수: 47 - 추천: 29 · 댓글: 9 - 링크: https://news.hada.io/topic?id=29076 핵심 포인트 한국 개발자가 만든 오픈소스 프로젝트 Ouroboros가 같은 Claude Max 환경에서 실행됐음에도 Claude 자체의 Plan Mode보다 더 좋은 모델링·시뮬레이션 벤치마크 결과를 냈다는…
2026년 5월 14일
마쿠
마쿠
● 해석하면 이런 제안입니다. 1. "GitHub PR로 관리해보세요" - 지금처럼 로컬 브랜치에서 바로 머지하지 말고, 변경사항을 PR(Pull Request) 단위로 올려서 관리하라는 뜻. - 작업 → 브랜치 push → PR 생성 → 리뷰/머지 워크플로우. 2. "클로드 붙여서 PR 코드리뷰/자동수정 환경까지 구성하기 쉬우니까 품질 더 좋아질 것" - GitHub PR에 Claude Code Action(공식 anthropics/claude-code-action)을 붙이면, PR…
2026년 5월 26일
wi
windq
Hermes codex 모델 timeout 으로 고통 받다가 여러 실험을 해봤는데 똑같은 페이로드로 캐싱만 안되게 계속 요청하니 약 10% 확률로 벽돌되는것 같습니다. Openai쪽 문제인것 같고(코덱스에선 이런 문제 없이 잘되던데... 무슨 짓을 한거냐.. -_-) 타임아웃나고 똑같은 페이로드 또 보내면 또 금방 응답하기도 하니 codex 구독 사용하시는 분들은 임시방편으로 timeout을 짧게 가져가시는게 좋을 것 같습니다. 다른 모델 쓰실수 있으시면 더 좋겠지만.. 전 가난해서..
2026년 5월 29일
엉클
엉클잡스
@all 안녕하십니까. 에르메스단 / 아카데미 여러분. 에르메스단 운영총괄 대장 Asin 입니다. 사전에 공지 드렸던 토요일 쿠마 님의 강좌 대비하여 쿠마님이 강좌 랜딩 페이지를 만드셨습니다. 강의전 한번 방문해 보시길 추천드립니다. https://kumastudio.app/talk/kumastudio-live-2026-05-30/ 강의 제목 : 쿠마스튜디오를 통해 배우는 개발 실전 강의 시간 : 5월 30일 (토요일) 저녁 9시 30분 장소 : 에르메스단 디스코드 에르메스단 / 아카데미…
2026년 6월 17일
문광
문광훈/B2BSaas/마케터
dpe1 about 14 hours ago • edited about 14 hours ago First of all it doesnt support tools. Second of all its not as good as Qwen 3.5 4B, so I think that it is benchmaxed really hard. The python code it produces for linear algebra routines based on paper pdfs is absolute disaster…
2026년 6월 18일
To
Tofukyung/AI 크리에이터
🎴 [2026-06-18 evening] 에르메스단 카드뉴스 👉 https://discord.com/channels/1496692826723975308/1517127639171862610 신규 1545건 · AI 215건 · 참여자 78명 📌 드로이드(Factory Droid) 후기 드로이드를 둘러싼 일관된 호평이 이어졌습니다. 엉클잡스 님이 "드로이드도 개안튼데"라며 운을 떼자, 김연규 님은 "드로이드 많이 파투리침"이라면서도 결국 "드로이드 좋아요"라고 평가했습니다. 엉클잡스 00:32…
2026년 6월 20일
ai
ai인젝션해라
**목차** ## 1. 코덱스 골(Goal) 모드의 이해와 활용 코덱스의 **골 모드**는 AI에게 최종 목표를 제시하여, AI가 스스로 작업을 반복하고 목표 달성 여부를 확인하며 작업을 완료하도록 돕는 기능이다. ## 1.1. 골 모드란 무엇인가? 1. **최종 목표 설정 기능** 1. **골 모드**는 책상 위에 최종 목표를 포스트잇으로 붙여두는 것에 비유할 수 있다. 2. 코덱스는 이 목표가 달성될 때까지 파일을 수정하고, 테스트를 실행하며, 코딩 작업을 반복한다. 2. **일반 요청과의…
2026년 6월 21일
br
brain.disconnected
전부 **AI 에이전트용 "메모리(기억) 레이어"** 도구들입니다. LLM이 대화가 끝나거나 세션이 바뀌면 모든 걸 잊어버리는 문제를 해결하려고, 사용자 정보·선호·과거 대화를 저장했다가 다시 꺼내 주입해 주는 인프라예요. 2026년 들어 이게 하나의 제품 카테고리로 떠올랐습니다. 각각 간단히 정리하면: **mem0** — 가장 대중적인 오픈소스 메모리 레이어. GitHub 스타 5만 개 이상으로 커뮤니티가 제일 크고, LangChain·LlamaIndex 등 어디든 붙는 SDK 품질이…