Selenium, Pickle

Selenium

• 브라우저를 직접 실행하여 자동화하고 브라우저상에 있는 데이터를 수집
• 웹 테스트 자동화를 위해서 만들어진 라이브러리
• 다양한 브라우져 지원
• 다양한 언어를 지원

thread를 사용한 데이터 수집

• 원래 파이썬 프로그램은 기본적으로 Single Thread 에서 실행됨. 즉 하나의 쓰레드가 순차적으로 코드를 실행함.
• 여기에서 별도의 쓰레드를 생성해 코드를 병렬로 실행하면 컴퓨터의 리소스가 허락하는 한도내에서 코드를 더 빨리 실행시킬수 있음.

Pickle

• 객체를 파일로 저장할때 직렬화(Serialization)라는 과정을 거쳐서 저장.
• 직렬화
  • 객체(데이터타입)과, 저장되는 파일의(데이터타입)은 다릅니다.
  • 서로 다른 데이터 타입을 맞춰주는 과정이 필요
• 파일을 읽고 저장하는데 속도가 더 빠릅니다.