Day 12
네이버 블로그 크롤링 - 우리 동네 맛집 블로그 크롤링 실습 - 코드 하나씩 뜯어가면서 이해하기 (정리중)
- TIL
- · 2021. 12. 31.
개인 미니 프로젝트 해보기 웹사이트 원티드 크롤링 및 konlpy로 워드클라우드 생성, job discription 분석 → 계속 진행할 예정 크롤링 수업 : requests, bs4 BeautifulSoup로 크롤링 하기
수업 : 정규표현식 → 포스팅으로 정리 완료 / 예제 다시 풀어보기 개인 공부 wanted 웹 사이트 크롤러 완성!!!! → 해결되지 않은 부분 정리 및 포스팅 남기기 k-mooc 미분적분학 3강
크롤링 4일차 - 네이버 뉴스 기사 크롤링 - 인스타그램 크롤링 - 네이버 영화배우 수상내역 크롤링 - 유튜브 리뷰 크롤링 아주 어렵다. CSS에 대한 이해가 깊지 않으니 태그, id, class로 접근하는데 애를 먹고 있다. class를 찾았다해도 왠지 작동하지 않을때도 많고 부모 태그까지 경험적으로 해봐야 아는 부분도 있다. 또한 막상 접근 방법을 찾아도 코드로 구현하는 단계에서도 녹록치 않다. 마음은 다른 사이트 크롤러를 막 응용해서 짜고 싶은데 몇 시간을 투자해도 크롤링 하나 하기가 쉽지 않다. 주말은 크롤링을 조지자.
네이버 블로그 크롤링 정리 - pandas로 데이터프레임화 까지 네이버 뉴스 기사 크롤링 - 실습 적용, 기사마다 구조가 조금씩 다름 - 헤드라인, 본문, 좋아요/싫어요 등등 감성분석 - iframe 구조 존재 ※ 수업 종료 후 개인적으로 데이터 시각화 시도함 → konlpy와 통해서 wordcloud 만들고 예전에 R로 해봤던 것처럼 PCA 등등 시도라도 해보려고 함 → konlpy가 정말 드럽게 안깔림.... wordcloud도 마찬가지.... 결국 하루를 꼬박투자해서 어찌 설치는 되었음..
네이버 블로그 크롤링 - 우리 동네 맛집 블로그 크롤링 실습 - 코드 하나씩 뜯어가면서 이해하기 (정리중)
프로그래밍 기초 test 데이터 크롤링 및 시각화 1차시 HTML 기초 개념 HTML 문법: 태그 웹 클라이언트, 서버, 클라이언트의 개념 웹 페이지 구성 3요소 : 3요소를 분리하여 개발 HTML : 웹 페이지의 구조와 내용 CSS : 웹 페이지의 모양, 디자인 → 크롤링 시 위치를 파악할 수 있음 Javascript : 웹 페이지 행동 및 응용 프로그램 → 동적인 움직임, 사용자 인터페이스 네이버 블로그 기초 크롤링 코드 실행 선형대수학 및 Numpy가 걱정이 되었으나 테스트는 무난히 합격했다. 새로운 주제인 데이터 크롤링 수업이 시작되었다. 약 3년 전 코딩이 빅데이터 용어가 나오기 시작할 무렵, 지인의 추천으로 생활코딩에서 정말 간단하게 html을 배운 적이 있었다. 그래도 한 번 경험을 해봤다고..
12장 예외 처리와 파일 : try-except문, raise문, assert문, open() 13장 csv와 로그 관리 Visual Studio Code 설치 오늘까지 2주 동안 파이썬 기초를 배웠다. 다음주에는 1차 시험이 있다. 범위가 굉장히 넓었는데 주말 동안 모르는 것 위주로 정리하면서 기초를 다진다. 다음 주부터 크롤링을 배운다. 아마 이 과정에서 메인으로 배울 수 있는 부분이라고 생각한다. - 크롤링을 통한 리뷰분석과 추천시스템 ( 모두 다 이거 하는거 같은데.... 경쟁력이 있으려나...) - 금융 데이터 크롤링으로 재무 비율 분석해보기 현재까지는 프로젝트로 이 두가지를 염두에 두고 있다.
10장 객체지향 프로그래밍 : 객체, 클래스, 인스턴스 등 11장 모듈과 패키지 모듈(module) : 이미 작성된 프로그램 인터페이스(interface) : 함수에서 매개변수를 입력하는 약속 / 모듈간의 연결을 위한 약속 패키지 : 모듈의 묶음 / from 모듈을 패키지부터 호출하는 명령어 생소한 개념이었다. 객체지향 프로그래밍은 별도로 정리하여 블로그에 남기긴 하였는데 수박 겉햝기라는 느낌을 지울 수가 없다. 컴퓨터공학 전반의 지식들은 얕게라도 다양하게 알아두려는 노력을 해야겠다. 어차피 다 못 외우니까 블로그에 두고 라이브러리화 시키는 것이 1차 목표.
교재 : 데이터 과학을 위한 파이썬 프로그래밍 - 7장 : 자료구조 → list, stack, que, tuple, dictionary 등등의 자료형태와 각각의 기초 함수 정리 - 8장 : 파이썬 스타일 코드 1 → split(), join(), list comprehension, enumerate(), zip() - 9장 : 파이썬 스타일 코드 2 → 람다함수, 맵리듀스, 별표(asterisk) 활용, 선형대수학 기초 다음주 화요일에 test 예정 Python : 데이터 과학을 위한 파이썬 프로그래밍(1~9장), 초보자를 위한 파이썬 300제 Pandas : 10minutes for pandas + a / pandas 연습 튜토리얼 95제 / 101pandas tips for beginners tita..
1. pandas 마무리 : 타이타닉 data를 이용한 pandas 기초 공부 -> 익숙해질 때까지 계속 연습할 예정 - 101 Pandas Tips for Beginners Titanic 완료 : 2. Numpy Cheat Sheet : Numpy 기초 정리 -> 학부 때 배운 행렬대수학 책을 다시 한번 펼쳐야..... * 원래 무엇이든지 큰 틀을 잡고 체계적으로 정리하기를 좋아하는 편이지만 데이터 분석 공부는 그래서야 끝이 없겠다. 일단은 알게 되는 코드들, 지식들을 그때 그때 산발적으로 정리해 놓고 어느정도 쌓이면 정리를 한번 해야할 듯 하다. * pandas 를 중점으로 열심히 몸에 익혀나갈 예정 -> pandas 예제 꾸준히 반복하기