728x90 전체 글87 머신러닝에 필요한 수학 최소 집합 선형대수, 최적화, 확률에서 모델 학습에 실제로 호출되는 부분만 추린다. 교과서 목차 대신 학습 루프의 어느 줄에서 그 정리가 쓰이는지를 기준으로 배치했다. 랭커나 임베딩 모델을 직접 학습시키고 서빙까지 책임지는 사람이 독자다.벡터 공간과 고유값 분해행렬을 데이터 테이블로 읽는 습관을 버려야 나머지가 풀린다. 행렬은 벡터 공간 사이의 선형 사상이고, 고유벡터는 그 사상이 방향을 바꾸지 못하는 축이다.$$\begin{gathered}A = V \Lambda V^{-1}, \quad \Lambda = \operatorname{diag}(\lambda_1, \dots, \lambda_n) \\A = A^{\top} \;\Longrightarrow\; A = Q \Lambda Q^{\top}, \quad Q^{.. 2026. 9. 26. 머신러닝 핵심 개념 정리 검색 랭킹 모델이나 문서 분류기를 붙이다 보면 알고리즘 이름보다 판단 기준이 아쉬울 때가 많다. 손실 함수, 정규화, 편향-분산, 교차 검증, 하이퍼파라미터 탐색을 어떤 상황에서 무엇으로 고르는지 기준 중심으로 정리한다. 지도 학습과 비지도 학습, 딥러닝을 한 축에 놓았다. 이미 몇 번 학습을 돌려보고 다음에 무엇을 손댈지 고민하는 쪽을 상정했다.손실 함수와 분포 가정손실수식쓰이는 곳최소제곱$\frac{1}{2}(y-z)^2$선형 회귀로지스틱$\log(1 + e^{-yz})$로지스틱 회귀힌지$\max(0,, 1-yz)$SVM교차 엔트로피$-[y \log z + (1-y) \log(1-z)]$신경망 분류네 손실이 따로 노는 것처럼 보여도 GLM이라는 한 틀에 들어간다. 지수족 $p(y;\eta) = b(y.. 2026. 9. 23. 국내외 전산학 학회 지형과 논문 검색 검색엔진 제품을 만들면서 대학원 과정을 병행하면 학회 달력이 곧 업무 달력이 된다. 어느 학회가 어떤 성격이고 마감이 언제 걸리는지, 선행 연구를 어디서 훑는지, 국내 학술대회 프로시딩이 해외 컨퍼런스 원고와 무엇이 다른지를 정리했다. 투고를 준비하는 대학원생과 사내 실험 결과를 논문으로 남겨보려는 개발자를 염두에 뒀다.해외 학회 지형NLP 쪽 축은 ACL, EMNLP, NAACL 세 곳이고 셋 다 ARR이라는 공용 리뷰 파이프라인 위에 얹혀 있다. 검색과 랭킹이면 SIGIR이 1순위, 로그 기반 추천이나 대규모 그래프는 KDD와 WWW, 그 아래로 CIKM과 WSDM이 붙는다. 방법론 자체를 파는 논문은 NeurIPS, ICML, ICLR로 간다. AAAI는 응용 트랙 비중이 높아 현장 결과물을 넣기가.. 2026. 9. 19. AI 엔지니어링 스택을 네 계층으로 자르기 스택 지도를 한 장 그려두면 새 도구가 튀어나올 때마다 어디에 꽂을지 판단이 빨라진다. 이 글은 모델, 서빙, 오케스트레이션, 평가와 관측 네 계층으로 스택을 자르고 각 층에서 실제로 무엇을 고르게 되는지를 정리한다. 검색 제품이나 사내 LLM 서비스를 직접 굴려본 사람을 독자로 상정했다.계층 구분과 교체 비용Chip Huyen의 정리는 애플리케이션 개발, 모델 개발, 인프라 세 층이다. 도구를 고를 때 이 구분은 조금 거칠다. 인프라 한 덩어리 안에 GPU 스케줄링과 추론 서버와 트레이싱 백엔드가 같이 들어가는데, 셋은 교체 주기도 의사결정 주체도 다르다.원저자가 2024년 3월 기준 별 500개 이상 AI 저장소 896개를 집계했을 때 폭증한 쪽은 애플리케이션 계열이었고, 인프라 증가폭은 완만했다. .. 2026. 9. 16. LLM 에이전트와 추론 모델의 구조 "에이전트"라는 단어가 API를 한 번 호출하는 스크립트부터 서브에이전트 수십 개를 병렬로 돌리는 시스템까지 전부를 가리키면서 설계 논의가 겉돈다. 이 글은 단일 호출과 에이전트를 가르는 기준을 도구 사용, 상태, 루프, 종료 조건 네 축으로 고정하고, 추론 모델이 test-time compute를 늘려 성능을 얻는 방식이 CoT 계열 프롬프팅과 어떻게 갈라지는지 정리한다. 검색 제품에 LLM 파이프라인을 얹거나 사내 GPU에 모델을 올려 서빙하는 쪽을 독자로 상정했다.단일 호출과 에이전트를 가르는 네 축Anthropic의 정의가 가장 실용적이다. 워크플로는 LLM과 도구가 미리 정의된 코드 경로로 조율되는 시스템이고, 에이전트는 LLM이 자신의 프로세스와 도구 사용을 동적으로 결정하며 작업 수행 방식에.. 2026. 9. 12. 하이퍼그래프 기반 지식 표현과 검색 지식 그래프를 검색 파이프라인에 붙여본 사람은 (h, r, t) 삼중항이 실제 문서의 사실을 담기에 좁다는 것을 안다. 이 글은 이항 관계 전제를 n항으로 확장하는 하이퍼그래프 표현, 하이퍼엣지 임베딩과 링크 예측 모델, 하이퍼그래프 신경망의 연산 정의, 그리고 이 구조를 RAG 인덱스로 썼을 때 얻는 것과 치르는 비용을 정리한다. 검색 인덱스나 RAG 파이프라인을 직접 설계하는 쪽을 독자로 상정했다.삼중항 스키마가 무너지는 지점"어떤 연구자가 2019년에 특정 기관에서 박사 학위를 받았다"는 사실 하나에 엔티티가 넷이다. 삼중항 스키마로 이걸 담으려면 reification을 쓴다. 사실 자체를 노드로 승격시키고 참여자를 그 노드에 이항 에지로 매다는 방식이다. 스키마는 지킨 셈이지만 임베딩 학습이 망가.. 2026. 9. 9. 이전 1 2 3 4 ··· 15 다음 728x90