HTML 데이터 파싱을 이용한 크롤링

1. 웹페이지 분석 : URL 찾기
2. 요청 -> 응답 : HTML(str) 가져오기
3. HTML(str) -> BeautifulSoup 객체에서 css-selector를 통해 내용을 가져옴 -> 데이터프레임으로 변환
   Read more »

데이터 전처리에 사용하는 패키지

missingno

• 결측데이터를 검색하여 시각화 함
• .bar(), .matrix()함수로 확인

Oauth

• 서비스(서드파티)에서 페이스북, 구글등의 서비스에 접근할수 있는 권한을 요청하고 이를 사용할수 있는 키를 발급 해줍니다
  Read more »

web crawling

1. requests : json : 동적페이지(URL 변경 없이 데이터를 수정 및 추가)
2. requests : html : 정적페이지(URL 변경 으로 데이터를 수정 및 추가)
3. selenium : web browser : 1,2 번 방법을 사용하지 못할때 사용, 브라우저를 직접 조작
   Read more »

데이터 분석이란?

• 데이터 간의 관계를 사용하여 우리가 원하는 새로운 출력데이터를 만들어 내는 과정

예측

• 여러가지 입력 데이터를 주면, 데이터 분석의 결과로 다른 데이터를 출력

검정

• 확률분포에 대한 어떤 주장: 가설
• 검정: 가설을 증명하는 행위

SQL in python

SQL을 주피터 노트북을 이용해 파이썬으로 조작해 봅시다.

RDBMS vs NoSQL

world.sql 데이터로 푼 퀴즈

JOIN

left join

왼쪽 테이블을 기준으로 왼쪽 테이블의 모든 데이터가 출력되고 매핑되는 키값이 없으면 NULL로 출력된다.