문장 벡터를 32차원으로 줄여도 같은 주제 이웃 74%를 유지했다

같은 주제 이웃 74%가 32차원에서도 남았습니다. 안드레스 피롤로(Andrés Pirolo)의 프리프린트 실험입니다. 실험은 MiniLM의 384차원 문장 임베딩(sentence embedding)을 32차원으로 줄였습니다. 텍스트 1,000개와 주제 4개를 썼고, 메모리는 약 92% 줄었습니다. 메모리 절감은 반갑지만 원본의 93%와 압축 결과 74% 사이에 19%포인트가 벌어진 점도 오래 남습니다.

고차원 데이터를 2차원으로 시각화한 비교도 있습니다. MNIST 6만 장을 다룬 t-SNE는 가까운 이웃을 보존한 비율이 42.5%였습니다. 이번 문장 압축 실험과는 데이터와 측정법이 달라 수치를 직접 견줄 수 없습니다. 다만 차원을 낮춘 뒤 이웃 관계가 얼마나 남는지 따진다는 점에서 이어집니다.

384차원 원본 대신 32차원 벡터를 써도 무작위 기준 25%를 크게 웃돌았습니다. 저장 공간을 크게 줄이면서 주제 신호를 남겼다는 점이 흥미롭습니다.

실험은 텍스트 1,000개와 네 주제에 그쳤습니다. 주제가 더 많은 검색에서도 74%가 유지되는지는 이 결과로 알 수 없습니다. 벡터 메모리는 줄었지만, 원본보다 같은 주제 이웃을 덜 찾았습니다. 그래도 무작위 기준보다 49%포인트 높은 수치는 압축 뒤에도 주제 정보가 남았음을 보여줍니다.

실제 검색에 쓰는 문장으로 원본과 32차원 벡터의 상위 이웃을 같은 기준에서 비교해 보십시오. 관련 문장이 상위에 남으면서 저장 공간 부담이 줄면 압축 적용 범위를 넓혀 보십시오. 중요한 문장이 밀려나면 압축 폭을 낮춰 다시 비교하십시오.

문장을 검색하거나 묶을 때, 관련성과 저장 공간 가운데 무엇을 먼저 기준으로 삼으십니까?