웹 스크래핑 · 크롤링

웹 스크래핑 · 크롤링 — 에르메스단 2026-04-18 ~ 2026-06-24 기간 AI 대화 31건에서 종합.

에이전트가 웹에서 데이터를 수집·정제하는 작업. Firecrawl·Playwright를 도구로, RAG 코퍼스 구축과 검색 보강에 쓰였다.

연결 주제: Firecrawl, Playwright, RAG, Perplexity

논의 흐름

2026년 4월

• 제가 뉴비라 어제 알게된 게 있어서 기본적인 것이지만 공유합니다. Hermes Agent 세팅을 다시 보다가 깨달았는데, AI는 웹 검색이라는 것을 (아직까지는) 사람처럼 하지 않는군요. 사람은 엣지, 크롬 등 브라우저에 주소를 입력한 후 클릭질을…
• kmsg로 벽타려면 스크롤하면서 올라가게 해야 하지 않아요?
• 저는 하루에 100개 정도 되는 쇼핑몰 5분 주기로 싹다 크롤링해서 제 로컬 데이터에 담는 중인데…

2026년 5월

• 제가 뉴비라 어제 알게된 게 있어서 기본적인 것이지만 공유합니다. Hermes Agent 세팅을 다시 보다가 깨달았는데, AI는 웹 검색이라는 것을 (아직까지는) 사람처럼 하지 않는군요. 사람은 엣지, 크롬 등 브라우저에 주소를 입력한 후 클릭질을…
• AI 답변, 이제 그냥 긴 마크다운 문서로 받으면 잘 안 읽게 되죠. 요즘은 같은 내용을 HTML로 받아서 카드, 표, 색상, 버튼, 정렬, 미리보기까지 붙인 “작업 화면”처럼 쓰는 흐름이 생기고 있습니다. 마크다운은 기록에 좋고, HTML은…
• 넵 나눠서 필요한 테스크에 따라 다른 AI에게 요청하고 있습니다 다만 사용량이 적으시면 cloudflare crawl같은 것도 좋은 선택이실거 같아요

2026년 6월

• [2026-06-12 evening] 에르메스단 카드뉴스 🔗 https://discord.com/channels/1496692826723975308/1514952475415941180 06/11 20:22 ~ 06/12 20:02 / 734건 /…
• 분석 / 대응 <— 이미 고추론 파이프라인 확정입니다.. 다만 이런 고추론 내용만 api나 코덱스 물리시고 크롤링이나 문서작성의 경우에 qwen / gemma 붙여서 진행하시면 될듯싶습니다.. 로컬들이 제일 잘하는게 그냥 냅다 코딩이라서 사실…
• 많이 복잡하진 않고 국장/미장/코인마다 분석/토론(레드/블루)/의사결정 에이전트를 두고 실시간으로 rss 정보를 크롤링하여 대응하는 방식으로 만들어볼까 합니다! 주마다 에이전트들끼리 성과분석을 하고 피드백하는 남들 다 하는 그런 방식으로..ㅎㅎ 이…

핵심 포인트

• Tofukyung/AI 크리에이터 (2026-06-12): [2026-06-12 evening] 에르메스단 카드뉴스 🔗 https://discord.com/channels/1496692826723975308/1514952475415941180 06/11 20:22 ~…
• 카잣둠 (2026-04-18): 제가 뉴비라 어제 알게된 게 있어서 기본적인 것이지만 공유합니다. Hermes Agent 세팅을 다시 보다가 깨달았는데, AI는 웹 검색이라는 것을 (아직까지는) 사람처럼 하지 않는군요. 사람은 엣지, 크롬 등…
• 엉클잡스 (2026-05-18): AI 답변, 이제 그냥 긴 마크다운 문서로 받으면 잘 안 읽게 되죠. 요즘은 같은 내용을 HTML로 받아서 카드, 표, 색상, 버튼, 정렬, 미리보기까지 붙인 “작업 화면”처럼 쓰는 흐름이 생기고 있습니다.…
• bkan (2026-06-10): 분석 / 대응 <— 이미 고추론 파이프라인 확정입니다.. 다만 이런 고추론 내용만 api나 코덱스 물리시고 크롤링이나 문서작성의 경우에 qwen / gemma 붙여서 진행하시면 될듯싶습니다.. 로컬들이 제일…
• 일하는 죠르디 (2026-06-10): 많이 복잡하진 않고 국장/미장/코인마다 분석/토론(레드/블루)/의사결정 에이전트를 두고 실시간으로 rss 정보를 크롤링하여 대응하는 방식으로 만들어볼까 합니다! 주마다 에이전트들끼리 성과분석을 하고 피드백하는…