start211120

- 본 글은 스마트 인재개발원 서포터즈 활동으로 작성한 글입니다 나는 스마트인재개발원에서 1차 팀 프로젝트와 2차 팀 프로젝트에 둘 다 노션으로 일정관리를 했다. 알아보기로는 노션은 대기업에서는 잘 사용하지 않고 소규모 회사에서 적은 팀원이 사용하는 편이라고 하고, 중소에서 조금 젊은 느낌의 공고, 회사 소개 용도로 쓰인다는 식으로 이야기를 들었다. 일단 5명 이하 팀에 1,000줄? 정도의 용량을 제공하는 듯하고, 전체 용량도 크지는 않아서 데이터가 조금만 쌓이면 돈을 내야하는 상황이 발생하긴 한다. 1차 때는 뭣도 모르고 회의 일지를 하루하루 썼는데, 2차 때 팀원의 각자 메모 페이지를 만들면서 참조 링크를 모두 기록하니, 바로 줄 수? 기준을 초과해버렸다. 이후 줄일 만한 내용을 다 하나의 파일로 ..

감상 2022. 4. 4. 08:09

- 본 글은 스마트 인재개발원 서포터즈 활동으로 작성한 글입니다 지난 게시글 결정트리 이론에 이어서 실습 데이터 코드 정리를 올린다. 주피터 노트북 실습이다 보니 수업 자체가 정리가 잘 되어 있는 편이라, 업로드가 상대적으로 편한 것 같다. 그래서 굳이 코드 블럭으로 바꿔서 올리는 중 ㅎㅎ 보기도 좋고 이 실습은 내장 데이터인 mushroom.csv 를 이용하여, 식용버섯과 독 버섯을 구분해보는 실습이다. decision tree 를 사용하는 것 말고는 이전에 한 다른 모델과 거의 같은 절차를 밟는다. 그래서 그런지 수업 마지막에는 과대적합 제어 코드와 교차 검증 적용을 해보는 형태로 진행 되었다. 아래에 코드를 순서대로 첨부해놓았다. . . . 그럼 이제 진지하게 학습을 노잼 시작해보자... # 문제정..

Python/MachineLearning 2022. 3. 22. 09:24

- 본 글은 스마트 인재개발원 서포터즈 활동으로 작성한 글입니다 여섯 번째 수업: 결정 트리 Decision Tree 알고리즘을 이해할 수 있다. 학습 목표 결측치가 있는지 확인한 수 있다. 아키네이터 Label 인코딩과 One0hot 인코딩을 이해할 수 있다. 교차검증기법 이해 정규화(Normalization) 이해 Decision Tree결정 트리 (왠지 모르겠지만 트리인데 root( 뿌리 ) 가 맨 위에 있음 관련된 외국 개발자 공부책에 나온 농담.. 개발자가 밖을 안 나가서 나무가 어떻게 생겼는지 몰라서 그렇다고 .. 예 아니오 질문을 반복하며 학습한다. 분류와 회귀 모두 사용 가능 예시 날개와 지느러미를 물어보고 매/ 펭귄 /돌고래 등을 구분함 타이타닉에서도 중첩된 조건 질문의 반복하여 결정했었..

Python/MachineLearning 2022. 3. 16. 00:27

- 본 글은 스마트 인재개발원 서포터즈 활동으로 작성한 글입니다 iris 모델 선택 및 하이퍼 파라미터 튜닝 학습 평가 반복문 작성 grid Search knn train_test_ split() 함수 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 6(횟수 int 21억 2**32) # 모델 선택 및 하이퍼 파라미터 튜닝 # 모델 선택 및 하이퍼 파라미터 튜닝 ## train test 분할 ### X (문제) , y(정답) 을 넣으면 X_train, X_test, y_train, y_test로 만듦..

Python 2022. 3. 16. 00:12

1교시- 복습, qna 2교시 -일반화 / 과(대)적합/ 과소적합 일반화: 훈련 세트로 학습한 모델이 테스트 세트에 대해 정확히 예측하도록 하는것 가장 적절한 결과: " 일반화가 잘 되었다. " 테스트 세트가 높은 것. -> 일반화 성능이 최대화 되는 것 과(대)적합: 공을 설명하는데 축구공 케이스만 가지고 설명 농구공은 공이 아닌 것으로 판단해버림 너무 상세하고 복잡한 모델링 훈련 데이터에만 과도하게 정확하게 작동함 훈련세트에 너무 맞추어져 있어서 테스트 세트에서는 오히려 성능이 저하됨 과소적합: 둥근 것은 다 공이라고 설명 원, 바퀴 등등 모두 공이 되어버려서 판단을 할 수 없는 상태 모델링은 너무 간단하게 하여 성능이 제대로 나오지 않음. 훈련 세트를 충분히 반영하지 못해 훈련 세트, 테스트 세트 ..

Python 2022. 3. 10. 23:36

시각화 데이터에서 이상치, 결측치 수정하기 각각의 데이터를 직접 지정해서 잘못된 라벨 변경하기 알고리즘을 이용하여 이상치, 결측치 수정하기( 약 20시간 뒤 ) 훈련과 평가로 데이터를 나누는 이유 모델에게 학습(문제데이터, 정답데이터) 모델은 규칙을 찾는다 > 모델이 얼마나 정확한 규칙을 찾았는지는 모름 모델에게 예측(새로운데이터) > 잘 예측한건지 잘 못예측한건지 모름 훈련데이터 / 평가데이터를 나누는 이유 모델이 얼마나 규칙을 잘 찾았는지 확인하기 위함 X(문제) , y(정답) X_train(훈련용 문제) , y_train(훈련용 정답) , X_test(평가용 문제) , y_test(평가용 정답) 훈련용 데이터는 모델에게 학습을 시켜서 모델이 규칙을 찾는 용도로 사용 평가용 데이터중 X_test를 머..

Python 2022. 3. 10. 23:27

- 본 글은 스마트 인재개발원 서포터즈 활동으로 작성한 글입니다 (딱딱 노잼... ) 2022.03.07(월) 수업 내용 정리 데이터 파이썬 코드 2022.03.07(월) 수업 내용 정리 - 머신러닝의 종류 - 지도학습(Supervised Learning) : 명시적인 답이 주어진 상태 (예시- 미스터리 사인) - 분류(Clasification): 미리 정의된 여러 정답 중 하나를 예측하는 것 ( 혈액형) - 미리 정의된 여러 클래스 레이블 중 하나를 예측하는 것 - 속성 값(문제)을 입력, 클래스 값(답, 클래스 레이블)을 출력으로 하는 모델 - 붓꽃(iris)의 세 품종 중 하나로 분류, 암 분류 - 이진 분류(둘 중 하나를 예측- 생/사 예측), 다중 분류(혈액형 분류) 등이 있음 - 회귀( Reg..

Python 2022. 3. 8. 00:57

- 본 글은 스마트 인재개발원 서포터즈 활동으로 작성한 글입니다 Jump to contents! 11월 15일에 처음 시작한 빅데이터 개발자 과정에서, 3월 4일 금요일에 머신러닝 첫 수업을 시작. 여기까지 약 3개월 반이 걸렸다. 되새기고 다져야 할 것도 많지만, 아직 지금은 이 머신러닝(Machine Learning)을 배울 때가 되었나 보다. 머신러닝이란, 간단하게는 기계가 스스로 학습하는 것을 말한다.(기계학습) 기존에는 사람이 규칙과 조건을 정해놓은 알고리즘을 입력하여 작동시킨 반면, 머신러닝은 수많은 문제와 답이 있는 데이터를 주고, 기계가 스스로 그 규칙을 정의하도록 하는 것이다. 마치 사람이 처음 개념을 배우는 것처럼, 아이가 실제 대상을 볼 때, 그 대상의 이름을 반복해서 설명해주면, 개..

Python 2022. 3. 6. 18:07