[Metacritic 포켓몬 S/S 리뷰 분석 프로젝트] 5. 감성분석

본 프로젝트의 마지막 단계는 리뷰 데이터의 감성 분석이다. 현재 데이터셋은 긍정과 부정이 극단적으로 나뉘어있는 형태이므로 감성 분석의 데이터로 적합하다. kaggle이나 dacon competition에서의 분류 알고리즘의 정확도를 높이기보다는 직접 기획부터 수집, 전처리, 분석까지 마친 데이터에 머신러닝을 통한 감성분석을 적용하는 것에 의의를 두었다. 데이터셋 전처리 이전 포스팅에서 중앙값을 기준으로 긍정과 부정으로 분류하였다. 머신러닝 알고리즘을 적용하기 전 사전 단계로 긍정, 부정 상태를 데이터에 인코딩하고 train, test 데이터셋으로 나누는 작업을 진행한다. 데이터셋 인코딩 df_pos = pd.read_csv('df_pos.csv',encoding='utf-8') # 긍정 데이터셋 df_p..

• format_list_bulleted Jay's Project/포켓몬 소드&실드 리뷰 분석
• · 2022. 7. 19.
• textsms

[wanted 채용 공고 분석] 4. 기술 스택 분석(1) - 데이터 전처리

지금까지 selenium을 이용하여 원티드에서 공고들을 크롤링하였고 주요업무, 자격요건, 우대사항 등으로 나누어 데이터 프레임으로 저장하였다. 우선, 프로젝트의 목적인 데이터 분석가 직무의 요구 스택들을 알아보기 위하여 수집된 데이터를 전처리하는 과정이 필요하다. 데이터 전처리는 수집된 데이터에서 어떤 요소를 활용하고 어떻게 적용할 지에 따라서 달라진다. 예를들어 머신러닝이나 딥러닝 등을 적용하는 경우에는 알고리즘에 맞게 데이터를 전처리 하며 텍스트 분석을 목적으로 하는 경우에 텍스트 안에서 세부적으로 어간추출이나 불용어 사전 작성 등의 과정이 있다. 이 프로젝트에서 첫번 째로는 기술 스택을 알아보는 목적이므로 이에 따라 어떤 데이터 전처리 이슈가 발생하고 해결방법은 어떠했는 지 정리해 본다. 0. 모듈..

• format_list_bulleted Jay's Project/wanted 채용 공고 분석
• · 2022. 1. 16.
• textsms