TL;DR

  • 사전 등록 측정에서 파일 임베딩 평균은 비혼합 GitHub 디렉터리의 약 95%에서 소수 대표 벡터보다 낫지 않으며, 혼합 폴더에서는 소수 양식별 대표 벡터가 소수 양식 파일 검색 성능을 높임.
  • Zenodo 혼합 폴더에서 평균 벡터는 양식별 대표 벡터보다 소수 양식 파일의 recall@5가 비전-언어 임베더에서 0.16~0.25, CLIP 계열 이중 타워에서 0.35~0.50 낮음.
  • 네 가지 인코더 모두에서 라벨별 대표 벡터 4개는 모든 파일 검색보다 0.02의 허용 오차 범위 안에서 열등하지 않음.
  • 라벨별 대표 벡터를 3개씩 저장하면 모든 폴더가 8KiB 안에 들어가며, 추가 성능 저하는 어떤 실험 조건에서도 최대 0.012임.
  • 2KiB 안에 저장하는 파일 종류별 표본은 평균 벡터가 놓치는 소수 양식 파일을 보존하며, ext4에서 2,048바이트 또는 4,000바이트 요약을 읽는 비용은 콜드 디렉터리 읽기당 1.2블록임.

초록

  • 이 논문은 동료 심사를 거치지 않은 2026년 10월 6일자 버전 1 사전 공개 논문이며, Ali Basheer(Craftpine Inc., Toronto)가 작성함. PDF는 50쪽, 0.6MB이며, 코드·매니페스트·브리프·결과는 GitHub 저장소에 공개됨. DOI는 10.5281/zenodo.23178122임.
  • 폴더 메타데이터는 파일보다 먼저 읽히며 수 킬로바이트만 차지함. 메타데이터에 벡터를 저장하면 폴더를 열지 않고도 질의를 라우팅할 수 있으며, 가장 저렴한 방법은 폴더 내 파일 임베딩의 평균을 저장하는 것임. 연구 질문은 평균 벡터로 충분한 경우와 그렇지 않을 때 저장할 정보임.
  • 주 비전-언어 임베더를 사용한 측정에서 미디어 종류가 섞이지 않은 GitHub 디렉터리의 약 95%는 평균 벡터가 소수 대표 벡터보다 성능이 낮지 않음. 혼합 폴더에만 적용한 대표 벡터는 전체 디렉터리에서 평균 벡터와 비슷한 수준임. 두 결과는 모두 사후 분석임.
  • 이미지와 텍스트가 함께 있는 폴더에서는 평균 벡터가 소수 양식의 특징을 놓침. Zenodo 레코드 폴더에서 보류된 소수 양식 파일을 검색할 때, 평균 벡터의 recall@5는 두 비전-언어 임베더에서 양식별 대표 벡터보다 0.16~0.25 낮고, 두 CLIP 계열 이중 타워에서는 0.35~0.50 낮음.
  • 사후 분석에서 네 가지 인코더 모두를 사용할 때 라벨별 대표 벡터 4개는 모든 질의와 각 실험 조건에서 전체 파일 검색보다 0.02의 허용 오차 범위 안에 있음.
  • 언어 모델이 모의 검색자 역할로 작성한 질의에서는 주 임베더의 평균 벡터 손실이 텍스트가 많은 폴더의 이미지 검색에서 0.14(구간 0.02~0.28), 이미지가 많은 폴더의 문서 검색에서 0.42(구간 0.28~0.56)임.
  • 라벨별 대표 벡터를 3개씩 저장하면 모든 폴더가 8KiB 안에 들어가며, 어떤 실험 조건에서도 추가 비용은 최대 0.012임. 2KiB 안에 저장하는 폴더 내 파일 종류별 표본은 평균 벡터가 놓치는 소수 양식 파일을 보존함. ext4에서 2,048바이트 또는 4,000바이트 요약을 읽는 비용은 콜드 디렉터리 읽기당 1.2블록임.
  • 각 콘텐츠 제작자에게 동일한 가중치를 부여했을 때 주 임베더의 파일 질의 손실은 0.13과 0.14이며, 폴더를 쉽게 드러내지 않는 이름의 질의에서는 0.06과 0.12임.
  • 모든 가설은 실험 전에 브리프에 고정됨. 브리프 다섯 개는 외부 타임스탬프가 있으며, 나머지 브리프는 작업 저장소의 이력으로 날짜를 확인할 수 있음. 코드·매니페스트·브리프가 공개됨.

무결성

  • PDF의 SHA-256: 8bef21aed187c640b44ebeb35f17b89704fc0df508e0e21186e8dbb82a9d5068.
  • PDF의 OpenTimestamps 증명 제공.

인용

  • Ali Basheer, 「혼합 폴더에서 몇 개의 벡터: 풀링된 디렉터리 임베딩의 사전 등록 측정」, 사전 공개 논문, Craftpine Inc., 2026년 10월.
  • 인용 정보의 게시 주소는 https://www.craftpine.com/dirvec이며, DOI는 10.5281/zenodo.23178122임.

정정

  • 정정 사항은 ali@basheerali.com으로 보낼 수 있음.