pandas 인덱스 무작위로 섞기

# 클래스 레이블 무작위로 섞기 : reindex np.random.seed(0) df = df.reindex(np.random.permutation(df.index)) # 이 부분 정리 df.to_csv('train_clean.csv',index=False,encoding='utf-8-sig')

pandas 특정 행,열 제거

#id 컬럼 제거 df.drop('id',axis=1, inplace=True) # axis=0 로우

전처리 함수 정의

# 전처리 함수 정의 def preprocessor(text): text = re.sub('[^가-힣\s]+','',text) # 한글, 공백문자 남기고 다 날리기 return text

Day 27

머신러닝 : 분류 (결정트리) , 앙상블 (랜덤포레스트) 분류 : 결정트리 결정트리 알고리즘의 이해 : 정보이득 최대화 → 불순도 : 엔트로피, 지니계수, 분류오차 결정트리 시각화 : Graphviz 결정트리 과적합 문제 앙상블 앙상블의 개념 : 여러 알고리즘을 섞어서 더 좋은 알고리즘을 만드는 것 → 단순히 성능 뿐만 아니라 과적합 문제도 해결 앙상블 종류 : 보팅, 배깅, 부스팅 보팅(voting) 일반적으로 서로 다른 알고리즘의 여러 개의 분류기를 모아서 서로 투표하고 최종 예측 결과를 정함 하드 보팅 : 다수의 분류 알고리즘이 다수결로 최종 결과 정함 소프트 보팅 : 다수의 분류 알고리즘이 클래스 별로 확률을 평균하여 결정 → 주로 많이 쓰임 scikit-learn : VotingClassifie..

[머신러닝] 분류 개요 : 결정 트리 (Decision Tree)

분류(Classification) 학습 데이터로 주어진 데이터의 피처와 레이블값을 머신러닝 알고리즘으로 학습하여 모델을 생성 생성된 모델에 새로운 데이터가 주어졌을 때 어떤 레이블에 속하는지 값을 예측한는 것 대표적인 분류 알고리즘 베이즈 통계 기반 나이브 베이즈(Naive Bayes) : 스팸 필터 선형 로지스틱 회귀 (Logistic Regression) : 이름은 회귀지만 대표적인 분류 알고리즘 / 강력한 이진 분류 선형 모델 데이터 균일도에 따른 규칙 기반의 결정 트리(Decision Tree) : 설명이 중요할 때 유용한 모델 근접 거리 기준의 최소 근접(Nearest Neighbor) 알고리즘 : KNN 알고리즘 (유클리디안 거리 이용) 심층 연결 기반의 신경망(Neural Network) :..

Day 26

인코딩 레이블(Lable) 인코딩 : 각각의 레이블 별로 인코딩 → 수학 = 0 , 과학 = 1, 영어 = 2 - scikit-learn에서의 인코딩 원-핫(One-Hot) 인코딩 - 피처 값의 유형에 따라 새로운 피처를 추가해 고윳 값에 해당하는 컬럼에만 1을 주고 나머지는 0으로 인코딩하는 방법 과목 과목 과목 과목 수학 1 0 0 과학 0 1 0 영어 0 0 1 - 판다스 get_dummies() 를 이용한 원-핫 인코딩 - scikit-learn에서의 원-핫 인코딩 피처 스케일링 표준화 : 피쳐 각각이 평균 0, 분산 1인 가우시안 정규분포로 변환 → StandardScaler 정규화 : 서로 다른 피처의 크기를 통일하기 위해 크기를 변환 → MinMaxScaler

url로 이미지 첨부하기

from IPython.display import Image Image(url="https://www.researchgate.net/profile/Hieu_Tran33/publication/333457161/figure/fig3/AS:763959762247682@1559153609649/Linear-Regression-model-sample-illustration.ppm")

Day 25

1. 생활 코딩 머신러닝 입문 강의 https://opentutorials.org/course/4548/28891 오리엔테이션 - 생활코딩 opentutorials.org 2. Scikit-learn을 이용하여 붓꽃(Iris) 데이터 품종 예측하기 3. kaggle bike-sharing-demand 데이터를 이용한 EDA 학습 4. 프로젝트 리뷰 쓰지 않는 모듈은 import 제외 time 메서드 보다 implicitly / explicitly wait를 사용하면 실행속도 개선 (sleep random 고려) 반복되어 쓰이는 코드는 함수로 정의하여 사용 변수명을 조금 더 의미 있게 (readable한 코드를 작성할 것) 멀티스레드, 멀티프로세스 공부 ppt로 따로 포트폴리오 작성 (블로깅은 래퍼런스 느..

train, test 데이터셋 분리

# tain, test 분리 X_train, X_test, y_train, y_test = train_test_split(iris_data, iris_label, test_size=0.2, random_state=11) # 테스트 사이즈 20% 할당 # random_state : radom seed 고정

[calculus] 3차시 위치벡터, dot product