고양이는 털털해

Focal Loss¶ 목차¶1. 정리¶2. Focal Loss 함수¶3. sm-segmentation에서의 계산식 확인: binary, categorical¶4. 참조 문헌¶ 1. 정리¶ focal loss는 데이터가 불균형적인 특징이 존재하는 semantic segmentation에서 많이 사용하는 loss 함수 이다. 모델이 정답을 확신하며 추측한 경우 그에 대한 비중은 줄이고 확신하지 못하는 경우의 비중을 키워서 잘 학습한 내용보다 잘 학습하지 못한 내용에 집중하도록 만들어진 loss 함수이다. 달리 말하면 불균형 데이터셋에서 빈도가 적은 데이터에 비중을 조절하면서 모델이 확신을 갖지 못하는 항목에 대해 좀 더 모험적인 판단을 하도록 하여, 데이터 셋에서 많이 보지 못한 데이터에 대해 좀 더 잘 학..

LightGBM 하이퍼 파라미터¶Gradient Boosting Decision Tree with Gradient-based One-Side Sampling and Exclusive Feature Bundling GBDT with GOSS and EFB 참조 : lightgbm은 ligbm과 scikitlearn 패키지로 사용할 수 있는데 api 마다 argument 이름이 달라서 해당 api에 맞게 사용해야 한다. 아래에서는 scikitlearn을 중심으로 이야기 하되 lightgbm의 argumnent도 언급하기로 한다.¶ python API lightgbm.LGGMModel lightgbm.LGBMModel(boosting_type='gbdt', num_leaves=31, max_depth=- 1,..

dice loss¶ 목차¶1. 정리¶2. dice loss 함수¶3. sm-segmentation에서의 계산식 확인: f1-score와 dice coefficient¶4. multi class dice loss와 class weight¶5. 참조 문헌¶ 1. 정리¶ dice loss는 데이터가 불균형적인 특징이 존재하는 semantic segmentation에서 많이 사용하는 loss 함수 이다. dice loss의 수식은 아래와 같다. $$Dice\ Loss\ = 1 - \frac{2 \sum {p \cdot \hat{p}}} {\sum{p^2} +\sum{\hat{p}^2}} $$ sm-segmentation 오픈라이브러리에서 dice loss 는 $f_1-score$ 로 계산한다. dice loss..

시계열모형을 이용한 예측 목차 1. ARIMA 모형의 진단 1) 과대적합진단 2) 잔차분석 2. ARIMA 모형의 예측 1) AR 모형의 예측 2) MA 모형의 예측 3) ARMA 모형의 예측 4) ARIMA 모형의 예측 3. 변동성 모형 작성 및 예측 1) ARCH 모형 2) GARCH 모형 1. ARIMA 모형의 진단¶ 추정한 모형이 타당한지를 검토한다. 1) 과대적합진단을 통해 간결원칙으로 정한 간결한 모델보다 복잡한 모형이 더 설명력이 있는지를 판단한다. 2) 잔차분석을 통해 추정한 모델의 예측값에 대한 잔차가 랜덤한지 판단한다. In [1]: shhh % log() %>% diff() %>% na.omit() %>% pacf() 부분자기상관도표를 그려보면 2기에서 유의하게 큰 값이 있는 것처럼 ..

예측의 개요, 예측 데이터 살펴보기 conda install -c r r-essentials 주피터 환경에서 r 실행 시계열참고도서 시계열 패키지 참고 예측의 개요¶ 예측이란? 미래의 시점에서의 사건을 사전에 추측하는 것 예측의 필요성 불확실한 미래에 대한 합리적이고 효율적인 의사 결정을 지원하기 위하여 예측을 하고 예측을 참고하여 의사 결정을 한다. 예측의 과정 및 방법¶ 예측의 과정 목표수립 -> (데이터 있는지 살펴보기) -> 정보수집 (수치정보, 판단정보) -> (수치 살펴보기) -> 예측실시 (수치, 판단정보 결합해서 예측) -> 예측평가 (문제 있으면 cycle 돌려서 수시로 예측) 주관적 예측과 객관적 예측 주관적 예측 : 전문가가 전문적 지식을 바탕으로 하는 예측. 수치 정보가 충분하지 않..

전이학습 Transfer Learning¶ 전이학습이란 내가 모델에게 학습시켜 풀고자 하는 문제와 데이터셋과 유사한 데이터셋, 문제에 대해 잘 학습되어 있는 사전 학습된 모델을 이용하는 것을 말한다. 남들이 만든 모델로 파이프라인을 만들고 fine tuning 하는 모듈식 사고구조를 만든 것이 딥러닝에서의 혁신이었다고 한다. 풀고자 하는 문제가 이용하고자 하는 모델이 학습한 데이터와 다르거나 하면 전이학습이 잘 안될 수도 있다고 하지만 시작 토대를 어느정도 가지고 시작할 수 있는 선택지가 있다면 많은 도움이 될 것 같다. 그렇다면 어떻게 다른 사람이 학습시킨 모델을 가져와서 이걸 잘라내서 활용할 수 있을까? 학습한 노드에서는 아래와 같이 keras에서 불러온 vgg19 를 사용했다. keras appli..

소감 주중 매일 노트북을 들여다 보고 있었더니 눈, 목, 어깨에 신호가 왔다. 집중하다 보면 눈도 덜 깜빡이고, 호흡도 얕게 하게 되고, 물도 덜 먹고, 자세는 노트북 화면으로 기울어지게 되는데 순간순간 자세를 바르게 하려고 해도 어느새 자세가 망가져 있기 일쑤다. 역전파를 배우고, deeplab 모델로 image segmenation을 하고, 캐글도 들여다보고, 회귀 적합을 하고, 모듈 함수를 만드는 방법을 알아도 눈 목 어깨가 상하면 무슨 소용이죠. 거북목운동 소개 큰 머리통에 비해 목 뼈가 작아서 목을 항상 소중히 여겨 왔기에 목이 아팠던 적이 별로 없어서 목 운동법에 대해 처음 알아봤는데 운동법 몇개를 따라해 보니 효과가 있을 것 같아 몇가지를 소개한다. 쇄골어 손을 펴서 엇갈려 대고 고개를 한쪽..

시작한지 한달 소감 주도적으로 진행하게 된 스터디도 생기고, 코딩반도 못 알아 듣겠는 개념도 나오기 시작하고, 과제도 쌓이기 시작하고 본격적으로 어려운 내용이 진행되는 것 같다. 그래도 조용히 노드 진행하다 모르는 내용 질문하는 것이 아니라 본격적으로 같이 과정에 참여한 사람들과 의견을 나누는 과정 외 스터디를 시작하니 사람들과 같이 으쌰으쌰 공부하는 느낌이 조금 더 드는 것 같다. 혼자서 이게 맞나 저게 맞나 전전긍긍하는 기분은 좀 덜 든다. Study 진행 1 Michgan EECS 수업 복습반 복습반을 같이 하면서 그냥 넘어갔던 부분을 다시 한번 둘러보고 고민하고 추가 자료를 보는 것이 유익했다. 같이 참여해 주신 분들과 내용 한번 정리하고 마음 편하게 공부할 수 있어서 좋았다. 오래 할 공부 스트..