Day 21

데이터 시각화 : 텍스트 데이터 - konlpy 설치 - 인스타그램 태그 konlpy로 시각화 실습 - wordcloud 설치 - 프로젝트 계속 원티드 프로젝트 - 영어 명사 추출로 기술 스택 분석 완료 - 한글 명사 추출로 keyword 분석 완료 - 기획의도 및 분석까지 발표한다는 생각으로 코드에 상세히 정리할 것 - 추후 블로그에 프로젝트 업로드 (포트폴리오화) 포켓몬 메타크리틱 리뷰 분석 - 시간이 별로 없는데 코드 리뷰 받을 목적으로 일단 완성 해보자 - 교재에 있는 영화 리뷰 감성 분석 알고리즘을 이용해서 머신러닝까지 구현해보기 - selenium으로 값이 같고 항목은 여려개인 버튼을 어떻게 클릭하지??????

• format_list_bulleted TIL
• · 2022. 1. 15.
• textsms

Day 20

데이터 시각화 실습 : Matplotlib, seaborn - 차트별로 별도로 정리할 것 원티드 프로젝트 - 영어 키워드 분석 : 요구 기술 스택만 남기기 위해 정규표현식으로 제거 완료 - 한글 키워드 분석 : 토큰화 한뒤 불용어 사전 만드는 법까지 공부 다음 프로젝트 구상 : 머신러닝 단계까지 따라해보기!! → 데이터 수 5000개 정도까지 되는 걸로.. - 직방으로 원룸 시세 예측? ( 5000개가 될까.....) - 주가 정보 가져와서 블랙숄즈 구현해보기? (블로그에 너무 많은데 그냥 따라하기 정도 되는거 같음..) - 기획부터 needs 에 맞는 걸로 선택해야함

• format_list_bulleted TIL
• · 2022. 1. 15.
• textsms

Day 19

데이터 시각화 : Matplotlib 파이썬의 대표적인 과학 계산용 그래프 라이브러리 선 그래프, 히스토그램, 산점도 등의 고품질 그래프 제공 저수준 api를 사용한 다양한 시각화 기능 제공 다양한 운영체제와 그래픽 백엔드에서 동작 프로젝트 : 원티드 채용 공고 분석 selenium 크롤링 코드 완성 - 반응형 웹에서 html 구성이 달라지는 방식 확인 (웹드라이버 크기 설정까지.....) - 회사 주소가 크롤링이 안된다..... 스크롤을 내리고 웹 화면이 그쪽에 있으면 코드가 작동함... 이것도 반응형 웹 페이지인지 모르겠음 - 결국 주소 포기하고 나머지 데이터 크롤링 완료 konlpy 설치 (진짜 너무 힘들었다....) - jpype 직접 설치 / konlpy 직접 설치 / java_home 변수 설..

• format_list_bulleted TIL
• · 2022. 1. 15.
• textsms

Day 18

크롤링 복습 및 실습 데이터 시각화 활용 : 데이터를 시각화해서 트렌드, 패턴, 특이점을 파악하기 위함 주요 차트 사용의 목적 트랜드 파악 : Line chart 데이터들 간 비교(Comparison), 순위(Ranking) : Column/bar chart, Dual axis chart 상관관계(correlation) : Scatter chart, Heat map 전체 중 비율(portion) : Pie chart 분산(Distribution) : Histogram, Box plot, Geo chart column / bar chart 데이터들 간 비교, 순위 나타내기 시계열 분석 dual axis / pareto chart 데이터들 간 비교, 순위 나타내기 파레토 차트는 히스토그램의 일종 pie ch..

• format_list_bulleted TIL
• · 2022. 1. 14.
• textsms

[wanted 채용 공고 분석] 3. 데이터 수집(2)

지난 포스팅에서 채용 공고들 각각의 URL을 수집하였다. 이번에는 채용 공고들을 클릭하고 들어가면 볼 수 있는 Job description을 구체적으로 수집해본다. 마찬가지로 selenium을 이용하여 크롤링하며 기본적인 진행과정은 전 단계와 동일하다. 수집한 채용 공고의 개별 URL 접속 import sys import os import pandas as pd import numpy as np from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys import chromedriver_autoinstaller import time from tqdm import tqd..

• format_list_bulleted Jay's Project/wanted 채용 공고 분석
• · 2022. 1. 14.
• textsms

[wanted 채용 공고 분석] 2. 데이터 수집(1)

이 프로젝트는 웹 사이트에서 데이터를 수집하므로 크롤링을 통해 데이터셋을 구축한다. 웹 사이트 크롤링이면 우선적으로 목표로 하는 웹 사이트의 구성을 살펴보고 접근 방법을 결정하는 것이 효율적이다. 본인도 이 프로젝트에서 마음이 앞서 무작정 크롤링이 시도하다가 스트레스만 받고 결과적으로 비효율적인 방식으로 시간을 허비하기도 했다. 채용 공고 크롤링을 위해 우선 원티드의 웹 화면 구성을 살펴보자 화면 구성 살펴보기 원티드 홈페이지에 접속하여 '데이터 분석가'로 검색한 결과이다. 61개의 포지션 채용 공고가 검색되었으며 한 줄에 4개씩 채용공고 타이틀, 회사명, 지역, 그리고 오른쪽 상단의 하트표시로 구직자가 찍어놓은 관심 수를 보여준다. 이제 구체적으로 수집하고 싶은 목표데이터에 접근하는 방법을 생각해보자 ..

• format_list_bulleted Jay's Project/wanted 채용 공고 분석
• · 2022. 1. 14.
• textsms

티스토리 수식 입력

https://gentlesark.tistory.com/58 티스토리에서 MathJax로 쉽게 수식 입력하기(feat.LaTeX) 모든 브라우저에서 잘 작동하는 웹 수식 편집 도구 'MathJax'를 이용해서 LaTeX 수식을 티스토리(Tistory)에서 쉽게 입력해보자!! 공학이 전공인지라 아무래도 포스팅에 수식을 종종 입력할 일이 생기 gentlesark.tistory.com

• format_list_bulleted Archive
• · 2022. 1. 13.
• textsms

[Regression] 머신러닝 회귀분석 개요

회귀 분석은 결과 또는 반응 변수가 다른 변수에 의해 예측될 수 있도록 두 개 혹은 그 이상의 양적변수의 관계를 분석하는 통계학적 방법론이다. 아주 쉽게, 두 양적 변수 사이에 어떤 관계가 있는지를 통계학적으로 알아보는 것이다. 간단히 두 개의 변수 사이에는 함수적 관계와 통계적 관계가 존재한다. 함수적 관계란 주어진 X값에서 어떤 함수가 이에 상응하는 Y 값을 가져오는 것을 말한다. 가장 단순한 일차함수의 경우이다. 이 때, 주어진 X값에서 상응하는 Y값은 직선상에의 한 점으로 나타난다. 그러나 통계적 관계란 함수적 관계와 달리 완벽한 것이 아니다. 일반적으로 통계적 관계의 관측치는 정확히 도출한 직선 상에 위치하지 않는다. 여기서 실제치와 예측치의 차이인 오차가 발생하는 것이다. 데이터 사이언스 분야..

• format_list_bulleted Data Science/python
• · 2022. 1. 13.
• textsms

[wanted 채용 공고 분석] 1. 프로젝트 기획

채용 플랫폼 원티드(wanted) 원티드는 원티드랩이라는 스타트업에서 운영중인 채용 플랫폼이다. 2015년 부터 운영을 시작하였으며 우리가 흔히 알고있는 네이버/카카오/우아한 형제들 등의 기업부터 초기 단계의 스타트업까지 IT 관련 채용이 주를 이루는 플랫폼이다. 다른 유명 채용 플랫폼과 비교하여 전체적인 UI가 상당히 깔끔하고 세부 공고에서도 일정한 형식으로 작성되어 있어 알아보기 쉽다. 현재 링크드인, 점핏 등과 함께 IT 분야 대표 채용 플랫폼으로 손 꼽히고 있다. 분석 대상 선정 : 왜 원티드인가? 원티드에는 다른 채용 플랫폼과 비교했을 떄 구체적으로 '데이터 분석가' 포지션으로 채용을 원하는 공고가 많았다. 데이터 분석 능력을 요구하는 다양한 직무의 채용 공고들이 아닌 명확히 데이터 분석 직무로..

• format_list_bulleted Jay's Project/wanted 채용 공고 분석
• · 2022. 1. 13.
• textsms

[wanted 채용 공고 분석] 0. 프롤로그

기업들은 어떤 사람을 데이터 분석가로 채용할까? 데이터 분석 직무로 취업을 준비하고 있다. 이 때문에 아주 자연스럽게 첫 프로젝트로 채용 공고 분석을 떠올리게 되었다. 교육과정이 지나고 점점 시야가 넓어 질수록 데이터 분석의 매력에 빠져 들고 있다. 이 분야는 일종의 종합예술이다. 기획단계부터 수집, 전처리, 모델링과 머신러닝, 비즈니스 창출에 이르기까지 수 많은 지식과 기술들이 다방면으로 요구된다. 이 때문에 혼자서는 모든 것을 해낼 수 없다. 팀 단위로 문제를 해결하며 협업할 수있는 자세와 집단지성의 활용, 의사소통능력이 중요하다. 하지만 결국 취업을 위해서는 기업들이 가장 필요로 하는 능력을 우선적으로 준비해야 할 것이다. 배워야 할 것은 너무 많고 상대적으로 취업을 준비할 수 있는 시간은 너무 적..

• format_list_bulleted Jay's Project/wanted 채용 공고 분석
• · 2022. 1. 12.
• textsms