열심히하자

learning from demostration에서는 오차가 궤적 길이의 제곱의 상한을 갖는다.offline RL, imitation learning등등 model based RL(LfD는 아니지만)도 roll out이 너무 길어지면 문제가 발생한다...그 이유는 간단하게는 data와 test distribution의 차이에 발생한다. action을 했는데 좋지 못한 action을 했다. -> 그 다음 state가 좋지 못한 state가 입력된다. 좋지 못한것은 학습시 못봤던 state일 확률이 높아진다는 뜻이다. 못봤던 입력에 대해서 출력을 내야하므로 출력의 부정확도가 올라가고 계속 이런 과정을 시간에 대해 반복한다.강화학습의 특징은 next input이 이 전의 action에 대해 causality를..

보호되어 있는 글입니다.

오일러 공식 1학년때 배우고 사실 쓸 일이 없어서 까먹었다가 면접 대비로 푸리에 변환 공부한다고 최근에 다시 공부를 했다. 우선 공식은 간단??하다. 사인과 코사인, $e^{ix}$의 매클로린 급수로 부터 유도된다고 나는 배웠다. 근데 수식적으로 말고 조금 더 직관적인 내용에 대해 생각해 보았다. $e^{i\theta} = cos\theta+ i sin\theta$ 삼각함수의 미분에는 회전에 관한 성질이 있다. 동역학에서 간단한 예시로 원운동이 있다. 위치벡터와 속도벡터(위치벡터의 미분)은 항상 수직하다. 원운동의 속도 벡터는 항상 그 점의 접선이다. 원의 접선은 원점과 이은 점과 수직하다. 원운동에서 위치 벡터를 다음과 같이 표현하면 $ x = (cos(t),sin(t))$이고 속도벡터 $x' = (-..

보호되어 있는 글입니다.

제목은 경사하강법이지만 사실 경사 상승법이 편해서 경사상승법 형식으로 다룹니다. GD(Gradient Descent) 경사하강법이 최적해(global optimal)를 보장하는지와 그리고 과연 진짜 수렴하는지에 대해서 수식적으로 알아 보겠습니다. 서적이나 강의를 바탕으로 한게 아니라 제가 혼자 수식을 끄적이고 공부한 내용을 정리하다 보니 아마 틀린 내용이 많습니다. sgd와 gd의 차이는 (mini-batch)sgd는 데이터 셋에서 mini-batch만큼 샘플링을 하여 추출하여 경사하강법을 하여 매개변수를 업데이트 합니다. gd는 전체 데이터 셋에 대하여 업데이트를 합니다. 이때 sgd에서 추출하는 mini-batch간의 관계가 i.i.d로 정의 된다면 기울기의 기댓값이 전체 데이터셋의 기울기와 같아져 ..

보호되어 있는 글입니다.

관련해 참조하기 좋은 자료들 고윳값과 고유 벡터 - 위키백과, 우리 모두의 백과사전 (wikipedia.org) 다크 프로그래머 :: [선형대수학 #3] 고유값과 고유벡터 (eigenvalue & eigenvector) 고윳값과 고유벡터 - 공돌이의 수학정리노트 (Angelo's Math Notes) 공돌이의 수학정리 노트는 특히 시각화가 잘 되어 있어 참조하기 좋습니다. 조금은 느리게 살자: 행렬의 고유치와 고유 벡터(Eigenvalue and Eigenvector of Matrix) 전파거북이님의 글은 간단한 증명이 많아 참조하기 좋습니다. 21. Eigenvalues and Eigenvectors (18.06-mit) Introduction to eigenvalues and eigenvectors ..

생성모델을 잘 아는 것은 아니지만 지금껏 대충 공부해본 것들에 대해 정리해보자. 우선 생성 모델을 분류 하는데 있어서 자주 인용되는 그림은 이안 굿펠로우가 nips 발표에서 사용한 taxonomy가 자주 사용되는데 여기 나오지 않은 것들로는 diffusion, energy based generative model, score based generative model,normalizing flow 등등이 있다. 그래서 우선 간단히 요약하면 생성 모델이 하는 것은 위 그림에 나온 것처럼 $\theta = argmax_\theta P_\theta (x_{train})$이것이다. train data set에 대한 likelihood를 최대화하는 theta를 찾는 것이다. 조건부 확률 분포$P(y|x)$를 최대화..

https://www.acmicpc.net/problem/1092 1092번: 배 첫째 줄에 N이 주어진다. N은 50보다 작거나 같은 자연수이다. 둘째 줄에는 각 크레인의 무게 제한이 주어진다. 이 값은 1,000,000보다 작거나 같다. 셋째 줄에는 박스의 수 M이 주어진다. M은 10,000보 www.acmicpc.net 처음에 문제를 잘못읽어서 헤맸는데 크레인 하나는 한 상자만 움직인다. 크레인이 현재 자기가 가능한 가장 무거운 상자부터 옮기면 된다. 20 18 크레인이랑 17,18, 19,20 의 상자가 있을때 20 크레인이 처음에 같이 17,18을 옮기면 18을 드는 크레인은 19,20 옮길 동안 아무것도 못한다. 그래서 입력을 정렬해서 받아주면 되는데 이렇게 정렬을 하고 크레인으로 반복문을 ..

사실 이건 딥러닝을 처음 공부할때 헷갈렸던 내용인데 일단 용어가 똑같아서 헷갈렸다. 먼저 짧게 얘기하면 이 두개의 skip-connection들은 해결하고자 하는 문제가 다르다. 이는 단순히 덧셈과 concat의 차이가 아니다. 두 skip-connection의 차이를 알아보자 일단 기본적으로 레즈넷(ResNet)은 대표적인 backbone network이다. 표현학습(representation learning)을 위한 모델이므로 좀 더 넓은 범위에 적용이 가능하고 U-Net의 경우 Semantic Segmentation에 사용되는 대표적인 모델 구조이다. 하지만 처음 딥러닝에 대해 개념이 안잡혀 배울때 둘다 skip-connection이라고 공부해서 비슷한줄 알았다. ResNet이 나오기 전의 대표적인..