Cross Entropy , Kulball-Leibler Divergence https://hyunw.kim/blog/2017/10/26/Cross_Entropy.html 초보를 위한 정보이론 안내서 - Cross Entropy 파헤쳐보기 Cross entropy는 두 분포 사이에 존재하는 정보량을 나타내는 개념이다.라는 식의 설명을 너무 많이 들었습니다. 하지만 이 개념이 정확히 무엇인지는 잘 설명되지 않고 그냥 쓰이는 것 같습니다. hyunw.kim KL 발산 식 = 크로스 엔트로피 - 엔트로피 크로스 엔트로피와 -log likelhood 는 같은식이며, 이를 Logistic Regression에서 cost function으로 사용한다 Generative model vs Discriminative m..

https://m.post.naver.com/viewer/postView.nhn?volumeNo=29185666&memberNo=21815 파이썬으로 경사하강 역전파(G.D.B.P.) 제대로 이해하기 [BY 안국이] 경사하강법(Gradient Descent)과 학습률지난 포스트에서 시그모이드 교차 엔트로피 함수라고... m.post.naver.com https://jaeyoon-95.tistory.com/184 [AI 기본 지식] 역전파의 모든 것 역전파란? 역전파는 오차 역전파법, 오류 역전파 알고리즘 이라고도 하며, 동일 입력층에 대해 원하는 값이 출력되도록 각 계층의 가중치를 조정하는 방법으로 사용됩니다. 즉, 예측값과 실제값 jaeyoon-95.tistory.com https://blog.nave..

아내가 가지고 있던 책으로, 컨설턴트로 일할때 선배에게 받았던 책이라고 한다 하버드 글쓰기 책에 이어서 효과적인 글쓰기를 배워보고 싶어서 읽기 시작했다 ** 글을 다 읽은후 (4장부터 독후감을 쓰려다보니 앞부분은 생략하게 되었다) 김박사의 세가지 유튜브 채널을 보면서 '글쓰기가 중요하구나'라고 생각했었다. 그 이후로 논리적사고, 하버드 글쓰기 등 여러 책을 보았고, 계속해서 논리적인 글쓰기를 익히고 싶었다 글쓰기 실력을 키우는데에는 직접 글을 쓰는게 최고라고 들었지만, 그동안 실천은 거의 하지 못했다 매일 아침 공부를 시작할때, 1시간정도는 책을 읽고 요약을 하는것으로 글쓰기 연습을 하기로 마음 먹었다 아래는 그간 책을 읽은후 조금씩 요약해온것들인데, 지금보면 올바른 요약을 하지 못한것이 눈에 보인다 요..