고양이는 털털해

Focal Loss¶ 목차¶1. 정리¶2. Focal Loss 함수¶3. sm-segmentation에서의 계산식 확인: binary, categorical¶4. 참조 문헌¶ 1. 정리¶ focal loss는 데이터가 불균형적인 특징이 존재하는 semantic segmentation에서 많이 사용하는 loss 함수 이다. 모델이 정답을 확신하며 추측한 경우 그에 대한 비중은 줄이고 확신하지 못하는 경우의 비중을 키워서 잘 학습한 내용보다 잘 학습하지 못한 내용에 집중하도록 만들어진 loss 함수이다. 달리 말하면 불균형 데이터셋에서 빈도가 적은 데이터에 비중을 조절하면서 모델이 확신을 갖지 못하는 항목에 대해 좀 더 모험적인 판단을 하도록 하여, 데이터 셋에서 많이 보지 못한 데이터에 대해 좀 더 잘 학..

LightGBM 하이퍼 파라미터¶Gradient Boosting Decision Tree with Gradient-based One-Side Sampling and Exclusive Feature Bundling GBDT with GOSS and EFB 참조 : lightgbm은 ligbm과 scikitlearn 패키지로 사용할 수 있는데 api 마다 argument 이름이 달라서 해당 api에 맞게 사용해야 한다. 아래에서는 scikitlearn을 중심으로 이야기 하되 lightgbm의 argumnent도 언급하기로 한다.¶ python API lightgbm.LGGMModel lightgbm.LGBMModel(boosting_type='gbdt', num_leaves=31, max_depth=- 1,..

dice loss¶ 목차¶1. 정리¶2. dice loss 함수¶3. sm-segmentation에서의 계산식 확인: f1-score와 dice coefficient¶4. multi class dice loss와 class weight¶5. 참조 문헌¶ 1. 정리¶ dice loss는 데이터가 불균형적인 특징이 존재하는 semantic segmentation에서 많이 사용하는 loss 함수 이다. dice loss의 수식은 아래와 같다. $$Dice\ Loss\ = 1 - \frac{2 \sum {p \cdot \hat{p}}} {\sum{p^2} +\sum{\hat{p}^2}} $$ sm-segmentation 오픈라이브러리에서 dice loss 는 $f_1-score$ 로 계산한다. dice loss..

전이학습 Transfer Learning¶ 전이학습이란 내가 모델에게 학습시켜 풀고자 하는 문제와 데이터셋과 유사한 데이터셋, 문제에 대해 잘 학습되어 있는 사전 학습된 모델을 이용하는 것을 말한다. 남들이 만든 모델로 파이프라인을 만들고 fine tuning 하는 모듈식 사고구조를 만든 것이 딥러닝에서의 혁신이었다고 한다. 풀고자 하는 문제가 이용하고자 하는 모델이 학습한 데이터와 다르거나 하면 전이학습이 잘 안될 수도 있다고 하지만 시작 토대를 어느정도 가지고 시작할 수 있는 선택지가 있다면 많은 도움이 될 것 같다. 그렇다면 어떻게 다른 사람이 학습시킨 모델을 가져와서 이걸 잘라내서 활용할 수 있을까? 학습한 노드에서는 아래와 같이 keras에서 불러온 vgg19 를 사용했다. keras appli..

소감 주중 매일 노트북을 들여다 보고 있었더니 눈, 목, 어깨에 신호가 왔다. 집중하다 보면 눈도 덜 깜빡이고, 호흡도 얕게 하게 되고, 물도 덜 먹고, 자세는 노트북 화면으로 기울어지게 되는데 순간순간 자세를 바르게 하려고 해도 어느새 자세가 망가져 있기 일쑤다. 역전파를 배우고, deeplab 모델로 image segmenation을 하고, 캐글도 들여다보고, 회귀 적합을 하고, 모듈 함수를 만드는 방법을 알아도 눈 목 어깨가 상하면 무슨 소용이죠. 거북목운동 소개 큰 머리통에 비해 목 뼈가 작아서 목을 항상 소중히 여겨 왔기에 목이 아팠던 적이 별로 없어서 목 운동법에 대해 처음 알아봤는데 운동법 몇개를 따라해 보니 효과가 있을 것 같아 몇가지를 소개한다. 쇄골어 손을 펴서 엇갈려 대고 고개를 한쪽..

시작한지 한달 소감 주도적으로 진행하게 된 스터디도 생기고, 코딩반도 못 알아 듣겠는 개념도 나오기 시작하고, 과제도 쌓이기 시작하고 본격적으로 어려운 내용이 진행되는 것 같다. 그래도 조용히 노드 진행하다 모르는 내용 질문하는 것이 아니라 본격적으로 같이 과정에 참여한 사람들과 의견을 나누는 과정 외 스터디를 시작하니 사람들과 같이 으쌰으쌰 공부하는 느낌이 조금 더 드는 것 같다. 혼자서 이게 맞나 저게 맞나 전전긍긍하는 기분은 좀 덜 든다. Study 진행 1 Michgan EECS 수업 복습반 복습반을 같이 하면서 그냥 넘어갔던 부분을 다시 한번 둘러보고 고민하고 추가 자료를 보는 것이 유익했다. 같이 참여해 주신 분들과 내용 한번 정리하고 마음 편하게 공부할 수 있어서 좋았다. 오래 할 공부 스트..

노드 별 사용한 loss 함수 차이 지금까지 한 노드에서 사용한 loss 함수들을 보니 wav 분석노드에서는 categorical cross entropy를, 작사, 가위바위보 이미지 판별에서는 sparse categorical cross entropy를, 감성 분석 노드에서는 binary corss entropy를 사용했다. 세개의 loss 함수의 차이는 무엇이고 왜 그렇게 사용했는지 궁금했다. 아무 것도 모르고 공부한 내용이라 틀린 것이 많을 수 있다. 나중에 배우면서 고치기로 하자. 차이점과 공통점 차이점 텐서플로우 공식문서 ( binary, categorical, sparse categorical 를 찾아보니 각 손실함수 별로 언제 사용하는지 적혀있었다. binary는 이름대로 정답 클래스가 2개..

소감 SSACxAIFFEL 과정 2주차가 지났다. 매일 새로운 과정을 공부하다 보니 시간이 금방 지나간다. 지난주에 계획했던 대로 매일 조금씩 정리하긴 했는데 조각조각 정리하다보니 당일 올리기도 모하고, 모아서 정리하려고 들여다보니 잘 연결이 되지 않는다. 월요일: 문자열, 정규표현식 기본. xml, json 파일 파이썬에서 읽어오기. cs231n 수업 3강을 보고 와서 스터디 진행. 화요일: opencv 설치, 설정, 이미지 불러오기, 리사이즈, 칼라맵 변환. dlib 라이브러리 이용한 얼굴 인식, 얼굴 landmark 인식, 이미지 붙이기 수요일: list, array 자료형태, numpy, pandas, pillow 기본 메소드 leetcode 문자열 다루기 목요일: keras api의 lstm, ..