Website to Markdown이 웹페이지를 RAG용 마크다운으로 바꾼다

Apify가 웹페이지에서 메뉴와 광고를 걷어내 본문을 마크다운으로 바꿉니다. 한 주소만 처리하거나 같은 도메인의 문서 사이트를 훑고, 검색 증강 생성(RAG)에 넣을 청크(chunk)로 나눌 수도 있습니다. 저는 변환보다 수집부터 검색용 조각 만들기까지 한 번에 잇는 점이 반갑습니다. 문서를 검색 시스템에 넣기 전 사람이 정리하던 단계를 덜 수 있기 때문입니다.

Web2MD도 공개 웹페이지를 AI용 마크다운으로 바꾸며 IP당 하루 10회 무료로 쓸 수 있습니다. Website to Markdown은 같은 도메인 크롤링과 청크 분할까지 한 흐름에 넣습니다. 페이지 변환에서 문서 수집과 RAG 준비로 범위를 넓힙니다.

본문만 뽑아내는 변환기에 그치지 않고, 같은 도메인의 문서 수집과 검색용 청크 분할까지 이어집니다. 마크다운 파일을 얻는 데서 끝나지 않고 RAG 준비 단계까지 한 도구 안에 들어온 점이 흥미롭습니다.

다만 크롤링 깊이(maxDepth)는 기본값이 0이라 입력한 URL만 처리하고, 문서 사이트 전체를 모으려면 값을 바꿔야 합니다. 요금 안내도 본문은 5페이지당 $0.10, 페이지 상단은 1,000페이지당 $44.00부터라고 적어 서로 맞지 않습니다. 한 주소를 시험할 때는 차이가 작아 보여도, 여러 페이지를 모을지 결정할 때는 예산에 바로 영향을 줍니다.

시작 URL 하나로 시험 실행해 마크다운에서 메뉴와 광고가 빠지고 본문 흐름이 보존되는지 확인하십시오. 문서 사이트를 대상으로 할 때는 크롤링 깊이를 직접 바꾸고, 실행 전에 예상 페이지 수와 표시된 요금을 맞춰 보십시오. 두 가격 안내가 계속 다르면 대량 실행을 보류하고 제작자에게 확인하십시오.

마지막으로 웹페이지를 AI 검색 자료로 정리하셨을 때, 어디서 가장 손이 많이 갔습니까?