베이지안 철학의 모티브는 다음과 같다.만약 우리가 에 대한 사전(prior) 정보를 알고 있다면 이는 더 나은 추정에 활용될 수 있다. 하지만 이를 위해서는 에 대한 prior pdf가 미리 주어져 있거나 계산할 수 있어야 한다.Bayesian 추정은 MVUE를 찾는 것이 불가능한 경우 사용하기 좋은 방법이다. 예를 들어 특정 불편추정값(unbiased estimator)의 분산이 다른 불편추정값들의 분산보다 일관되게 작지 않은 경우를 생각해보자. 이런 경우 고전적인 방법으로는 MVUE를 찾는 것이 불가능하므로 파라미터 에 pdf를 적용함으로써 우리는 그 추정값 을 찾는 방법을 생각할 수 있다. 가 다른 추정값들보다 평균제곱오차(MSE)가 작다면 이는 최적의 추정값이라고 결론지을 수 있다. 즉, 파라미터..

Text Classification  via Graph-based Semi-Supervised Node Classification Experimental Setup  Dataset ECNews 에서 영어문서만 (Only train data)# documents : 46870# labels : 6  Model GCN (Graph Convolutional Network)  Evaluation Metrics Classification accuracy  Approach Problem Definition train data 총 46870개 중에서 각 레이블마다 문서 1000개씩의 레이블만을 활용한다.즉, train data 46870 개의 문서중에서 6000개문서는 레이블을 활용하고, 나머지 40870 개의 문서..

Introduction to Graph Contrastive Learning (GCL) Graph Contrastive Learning (GCL) 이란 , Self-supervised graph representation learning 의 기법중 하나입니다. 일반적인 contrastive learning (대조학습) 과 그 목표와 방법이 거의 동일합니다.그래프 혹은 노드 level 에서 , 유사한 graph (positive pair) 를 가까이 representation (pull close) 하고 , 그렇지 않은 graph (negative pair) 를 멀리 representation (push away) 하는 학습방법 입니다. 일반적으로 GCL 에서는 동일한 그래프/노드의 view 를 posit..

Node Embedding 그래프 데이터에서 node 를 임베딩하는 방법에는 다양하게 있습니다.노드 임베딩이란 , 그래프는 일반적으로 non-euclidean space 에 존재하는데 이를 그래프안에 있는 각 노드들을 euclidean space (저차원공간) 에 임베딩해주는것 입니다. 그러면 노드임베딩의 목표는 , 유사한 노드는 embedding space 에서 근처에 위치하게 임베딩해주는 것 입니다. Node Embedding 에는 크게 두가지 방법이 있습니다.Shallow embedding method : Node2Vec , DeepWalk , LINE , ... Neural net-based method  Shallow Embedding Method  Shallow embedding method ..

Basic Graph theory for Machine Learning    그래프의 구성 요소 : 노드(node) , 엣지(edge) , edge weight(가중치) , 노드와 노드 사이의 방향(direction) , Self-connection 이때 , 방향과 가중치, 그리고 self-connection 는 있어도 되고 없어도 됩니다. 이는 사용자가 graph 구조의 data structure 를 define (graph construction) 하기 나름입니다. 따라서 그래프에서 노드끼리의 방향성의 유무에 따라 Directed graph / Undirected graph 로 나뉩니다.가중치가 있는 그래프일 경우 , Weighted graph 가 됩니다.  How to represent a gra..

소프트맥스 활성화 함수 (activation function) 는 분류 작업을 위해 딥러닝에서 널리 사용되는 함수입니다. 이 함수는 임의의 실수 벡터를 확률 분포로 변환하며, 벡터의 각 요소는 특정 클래스의 확률을 나타내기 때문에 유용하다. Softmax 함수는 숫자벡터인 z 를 input 으로 받아 다음과 같이 출력한다.  Softmax 함수는 입력 벡터의 각 구성 요소를 지수화한 다음 지수화된 각 값을 지수화된 모든 값의 합으로 나눕니다. 이렇게 하면 모든 확률의 합이 1이 되므로 함수의 출력이 유효한 확률 분포가 됩니다.   딥러닝에서 신경망을 훈련하는 가장 일반적인 기법 중 하나는 미적분학의 연쇄 규칙 (chain rule) 을 사용하여 네트워크의 매개변수 (parameter of model) 에..

머신러닝의 간단한 서론에 대해 정리하겠습니다. - DNN (Deep Neural Network) 의 발전 RBM ( Restricted Boltzmann Machine ) algorithm ( by Hinton ) -> "DNN learning" - Learning Algorithms Supervised Learning (Labelled) Unsupervised Learning(Unlabelled) Reinforcement Learning cf. Semi-Supervised Learning , Self-Supervised Learning (이것들은 추후에 자세히 다루도록 하겠습니다!) - Task Supervised Learning : Classification , Regression Unsupervis..