[wanted 채용 공고 분석] 4. 기술 스택 분석(1) - 데이터 전처리

지금까지 selenium을 이용하여 원티드에서 공고들을 크롤링하였고 주요업무, 자격요건, 우대사항 등으로 나누어 데이터 프레임으로 저장하였다. 우선, 프로젝트의 목적인 데이터 분석가 직무의 요구 스택들을 알아보기 위하여 수집된 데이터를 전처리하는 과정이 필요하다. 데이터 전처리는 수집된 데이터에서 어떤 요소를 활용하고 어떻게 적용할 지에 따라서 달라진다. 예를들어 머신러닝이나 딥러닝 등을 적용하는 경우에는 알고리즘에 맞게 데이터를 전처리 하며 텍스트 분석을 목적으로 하는 경우에 텍스트 안에서 세부적으로 어간추출이나 불용어 사전 작성 등의 과정이 있다. 이 프로젝트에서 첫번 째로는 기술 스택을 알아보는 목적이므로 이에 따라 어떤 데이터 전처리 이슈가 발생하고 해결방법은 어떠했는 지 정리해 본다. 0. 모듈..