[wanted 채용 공고 분석] 3. 데이터 수집(2)

지난 포스팅에서 채용 공고들 각각의 URL을 수집하였다. 이번에는 채용 공고들을 클릭하고 들어가면 볼 수 있는 Job description을 구체적으로 수집해본다. 마찬가지로 selenium을 이용하여 크롤링하며 기본적인 진행과정은 전 단계와 동일하다. 수집한 채용 공고의 개별 URL 접속 import sys import os import pandas as pd import numpy as np from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys import chromedriver_autoinstaller import time from tqdm import tqd..

• format_list_bulleted Jay's Project/wanted 채용 공고 분석
• · 2022. 1. 14.
• textsms

[python] selenium 네이버 뉴스 기사 크롤링

지난 번 네이버 블로그 크롤링과 유사하게 네이버에서 키워드 검색 후 관련 뉴스 기사 크롤링을 실습해 본다. 마찬가지로 처음에는 자동검색을 통해 url들을 수집한 뒤 pandas로 데이터프레임화 한 후 csv로 저장한다. 그 다음 csv를 로드한 뒤 url을 하나씩 열어 기사 본문과 댓글, 좋아요 등의 감정 수집까지 진행한다. 역시나 처음에는 전체 구조를 for문으로 만들기 전에 하나의 기사로 코드를 실험한다. 0. 라이브러리 & 모듈 - Selenium ActionChains : 여러 개의 동작을 체인으로 묶어서 저장하고 실행한다. - re : 정규표현식을 사용할 수 있는 모듈 # 라이브러리 import import pandas as pd import numpy as np from selenium imp..

• format_list_bulleted Data Science/python
• · 2022. 1. 2.
• textsms