728x90 전체 글78 한국어 형태소 분석과 서브워드 토크나이저 토크나이저를 바꾸면 검색 품질과 학습 비용이 같이 흔들린다. 이 글은 BPE 계열이 교착어에서 무너지는 지점을 토큰 수, 미등록어, 형태론적 일반화로 나눠 정리하고, 형태소 분석 결과를 토크나이저 사전에 주입하는 방법과 그 효과의 상한을 다룬다.교착어에서 서브워드가 무너지는 지점BPE와 unigram은 빈도만 보고 병합 규칙을 만든다. 형태소가 무엇인지 모른다. "했습니다"는 고빈도라 통째로 한 토큰이 되고, 같은 어간의 저빈도 활용형은 경계를 무시한 채 잘린다.토큰 수부터 문제다. 어절당 토큰 수가 오르면 컨텍스트 길이, KV 캐시, prefill 연산량이 따라 오른다. Dagan 등은 토크나이저 크기와 pre-tokenization 정규식이 생성 속도와 유효 컨텍스트를 좌우하며 50B 토큰 이상 도메.. 2026. 8. 29. 추천 시스템 알고리즘 지형도 연관 규칙에서 시작해 협업 필터링, 행렬 분해, 지식 그래프 결합을 지나 생성형 추천까지 이어지는 계보를 한 장에 편다. 알고리즘 카탈로그를 나열하는 대신 각 기법이 서빙 파이프라인의 어느 자리에 앉고 어디서 무너지는지에 초점을 뒀다. 검색 랭킹이나 개인화 파이프라인을 직접 운영해본 쪽을 독자로 상정했다.연관 규칙이 남긴 어휘Apriori를 지금 프로덕션에 올리는 곳은 거의 없다. 남은 것은 어휘다. 지지도와 신뢰도, 향상도는 그대로 랭킹 피처 설계에 쓰인다.$$\begin{aligned}\text{support}(A) &= P(A) \\\text{confidence}(A \Rightarrow B) &= \frac{P(A,B)}{P(A)} \\\text{lift}(A \Rightarrow B) &= \f.. 2026. 8. 26. 검색 쿼리 이해와 의도 추정 두세 단어짜리 질의에서 무엇을 어디까지 복원하고, 그 복원 과정을 실제 지연 예산 안에 어떻게 밀어 넣는가. 쿼리 분류와 의도 태깅, 확장, 재작성, 제안으로 이어지는 전처리 계층이 DPR과 ColBERT, 하이브리드로 짜인 검색 계층과 어디서 맞물리는지를 정리한다. 검색 파이프라인을 운용하거나 RAG 리트리버를 손보는 쪽을 독자로 상정했다.질의 언어의 분포는 문서 언어와 다르다쿼리 이해를 언어 모델 문제로 놓고 본 초기 연구 중 WWW 2010의 웹 스케일 n-gram 논문이 아직 참조할 만하다. 73만여 개 질의로 body, title, anchor text, query 각각의 perplexity를 비교했더니 질의는 문서 본문보다 anchor text나 title에 가까웠다. 저자가 문서를 요약하는 .. 2026. 8. 22. Solr와 Elasticsearch, 그리고 분산 클러스터 설계 같은 Lucene 코어를 쓰는 두 엔진이 왜 다른 운영 감각을 요구하는지, 스키마와 코디네이션, 샤딩과 복제, 근실시간 검색이라는 네 축으로 정리한다. 클러스터를 직접 세우고 굴리는 사람이 읽을 글이며 기준선은 Solr 10.0과 Elasticsearch 9.x다.같은 Lucene, 다른 상위 계층Solr의 Collection과 Elasticsearch의 Index는 같은 자리에 있다. 둘 다 Shard로 쪼개지고, Shard 하나가 곧 Lucene 인덱스 하나다. 어휘가 겹치는 건 여기까지다. 옛 비교 문서의 "ES는 한 인덱스에 여러 타입을 담는다"는 서술은 지금 틀렸다. mapping type은 6.x에서 인덱스당 하나로 제한됐고 7.0에서 사라졌다. Solr도 4.4 이후 Schema API로 재.. 2026. 8. 19. 정보 검색의 이론적 토대 Boolean 모델에서 벡터 공간 모델을 거쳐 확률 모델로 이어지는 랭킹의 계보, 사전 자료구조와 편집 거리 기반 오타 보정, 평가 지표의 수식과 그 지표가 놓치는 실패를 정리한다. 검색엔진을 직접 만들거나 RAG의 retriever 품질을 책임지는 사람이 독자다.세 갈래의 계보Boolean 모델에서 문서는 쿼리를 만족하거나 만족하지 않는다. 컬렉션과 자기 니즈를 아는 전문 사용자에게는 지금도 최적이다. 문제는 결과 수가 극단으로 튄다는 것이다. standard user dlink 650은 200,000건을 반환하는데 standard user dlink 650 no card found는 0건이 된다. AND가 붙을 때마다 절벽처럼 떨어지고 OR로 완화하면 폭증한다.벡터 공간 모델은 이 문제를 랭킹으로 우.. 2026. 8. 15. 오픈소스 라이선스를 엔지니어 관점에서 갈라 보기 의존성을 추가할 때 라이선스를 보는 사람은 드물다. 문제는 제품을 고객사에 납품하거나 외부에 서비스를 열 때 뒤늦게 드러난다. 법무 판단은 법무의 일이지만 어떤 항목이 걸릴 수 있는지 알아보는 것은 코드를 넣는 사람의 일이다. 아래는 그 선별을 위한 정리이고 법률 자문은 아니다.세 갈래로 나눠 본다수십 종을 외울 필요는 없다. 전파 범위로 세 덩어리다.갈래대표의무의 범위허용형MIT, BSD, Apache-2.0, ISC저작권 표시와 라이선스 사본 유지약한 카피레프트LGPL, MPL-2.0, EPL-2.0그 라이브러리 자체의 변경분만 공개강한 카피레프트GPL-2.0, GPL-3.0, AGPL-3.0결합한 저작물 전체가 같은 조건허용형은 표시만 지키면 상용 제품에 넣을 수 있다. Apache-2.0은 여기에.. 2026. 8. 14. 이전 1 2 3 4 ··· 13 다음 728x90