Introduction 최근에 올라온 이 책 저자가 저자라 그런지 너무나도 깔끔하고 아름답다. [1] 따라서 한번 챕터별로 정리하면서 읽어보려고 한다. 특히 현재 챕터는 다음 글이 같이 떠올랐고 같이 읽어보면 좋을 것 같다. [2] Review of Bayesian Inference 베이즈 추론(Bayesian Inference)에서 훈련과 추...

Introduction 머신러닝의 궁극적인 목적은 무엇일까? 그것은 일반화(generalization)이다. 훈련 데이터의 학습을 통해 시그널(signal) 혹은 패턴(pattern)을 학습해, 처음 보는 데이터에 대해서도 정확한 예측을 해내는 것을 요구한다. 하지만 모델은 종종 엉뚱한 길로 빠진다. 진짜 패턴을 넘어 데이터에 섞인 ‘노이즈(Noi...

Introduction SVD(Singular Value Decomposition)는 LLM을 공부하다보면 참 이곳저곳에서 많이 나오는 알고리즘이다. 특히 [1]에서도 Data Science meets linear algebra in the SVD라고 시작하고, Low Level Technicals of LLMs: Daniel Han에서도 그 중요성...

Introduction 기존의 SDPA(Scaled Dot Product Attention)를 효율화하는 여러가지 방법이 있다. 대표적으로 [1] 에도 나오는 MHA(Multi-Head Attention)부터 시작해서, MQA(Multi-Query Attention), GQA(Grouped-Query Attention), 그리고 MLA(Multi-h...

2024년 5월 기준으로 설명한 글임을 명시한다. Introduction Reproducible Research의 일환으로 많은 사람들이 컨테이너를 이용한 가상화 기술을 활용하고 있다. 이를 위해서 보통 Docker기반의 컨테이너를 많이 사용한다. Docker는 서비스를 올릴때는 더할나위 없이 좋은 툴이지만, Multi-user가 있는 HPC환경...

2024년 5월 기준으로 설명한 글임을 명시한다. Introduction 난 Jupyter를 싫어한다. 실험과 Literate programming 관점에서는 최적의 툴이지만, 대부분 잘못 사용한다고 생각한다. 많은 data scientist들이 작성하는 Jupyter 코드들은 문서는 없고 코드만 있다. 특히 industry에서 productio...

Introduction [1]와 [2]를 리뷰하기에 앞서 [3]를 살펴보기로 하겠다. 이 논문의 핵심은 NTK를 확장하여 MLP뿐만 아니라 다른 어떤 아키텍처에서도 동일한 이론을 적용할 수 있음을 보인다. NTK가 중요하다는 것은 알고있었지만, 너무 이상적인 이론이라고 생각하고 있었는데, 이 논문을 통해서 많은 궁금증이 풀린 경험이 있기에 소개한다....

Why K, Q, V? 예전에 Transformer에서 K, Q, V의 의미가 무엇이냐는 질문을 받았을 때 갑자기 머리가 멍해지면서 제대로 답변을 못한 적이 있었다. 그런데 막상 찾아보면, 그 의미를 명확히 전달해주는 글은 잘 없었다. 원래 논문[1]을 찾아보라고 보통 애기하지만, 이걸 제대로 보려면 [2], [3], [4], [1]로 이어지는 흐름...

Introduction 개인적으로 정리도 할 겸 그리고 다른 포스트에서 이 부분을 설명할 때 글이 너무 길어져서 분리해서 작성하는 포스트이다. 최대한 직관적으로 적어보려고 노력하였다. logit 도박을 생각해보자. odds란 도박의 승률을 나타내는 중요한 지표이다. 확률이 이길 확률($p$)과, 전체 경우의 수(이김 + 짐)의 합(1)으로 $\df...

최근 Lenovo Thinkbook 16 G4+ ARA를 샀고 Arch Linux기반의 EndeavourOS를 설치하였다. 이 과정에서 삽질한 기록을 남긴다. 준비물 별도의 마우스 별도의 키보드 유선랜 연결 아래의 문제들 때문에 위 준비물 없이는 리눅스 설치하기가 힘듦. 준비물을 갖추고 정상적...