0%

Oauth, fake_useragent 활용

Posted on Edited on In , Disqus:

Oauth

  • 서비스(서드파티)에서 페이스북, 구글등의 서비스에 접근할수 있는 권한을 요청하고 이를 사용할수 있는 키를 발급 해줍니다

1단계: 서비스에서 페이스북, 구글등에 등록을 요청하면, request_token을 발급

2단계: 유저가 서비스에서 서드파티의 데이터를 가져오고자 하면, 서드파티에 oauth page를 띄움, 수락하면 이 유저에 대한 access_token을 발급

3단계: 서비스는 request_token과 access_token으로 서드파티에 데이터를 요청하고 받아옴

Oauth를 활용한 구글 스프레드시트 데이터 업로드 작업 순서

  1. oauth 인증 파일 생성
  2. 프로젝트 생성
    • 라이브러리 탭선택: Google Drive API, Google sheet API 사용설정
    • Oauth 동의화면
      • 어플리케이션 이름 설정
      • google api 범위 추가: drive, spreadsheets
      • 저장
    • 사용자 인증정보
      • Oauth클라이언트 ID 만들기
  3. 스프레드 시트에 크롤링한 데이터 저장 및 로드

fake_useragent

  • user_agent를 랜덤으로 생성하는 패키지
  • headers에 임의로 값을 지정해주고 requests해주는 방법으로 데이터 접근 가능
  • user-agent외에도 refere(접근 이전에 방문했던 페이지의 URL)등도 지정 
    1
    2
    3
    4
    5
    6
    7
    url = "https://finance.daum.net/api/exchanges/summaries"
    headers={
        "user-agent" : UserAgent().chrome,
        "referer" : "https://finance.daum.net/exchanges"
    }
    response = requests.get(url,headers=headers)
    response