파이썬 셀레니움으로 크롤링 및 자동화 프로그램 만들기 - 1. 파이썬 설치 및 개발 환경 설정

python selenium으로 크롬 웹 페이지 크롤링을 하는 프로그램 작성, pyinstaller를 이용해 exe 파일로 만들고

윈도우 작업 스케줄러에 등록해 특정 시간 실행되도록 설정해보겠습니다.

파이썬 코드는 특정 사이트에 로그인하고 바로 로그아웃, 다시 로그인하여 마지막 로그아웃 시간을 출력하는 간단한 자동화 프로그램입니다. IDE 툴은 vs code를 사용하였습니다.

 

대략적인 과정은 다음과 같습니다.

1. 파이썬 설치 / pip 설치

2. selenium, webdriver_manager 설치

3. 로그인, 로그아웃

4. 로그아웃 시간 출력

5. 파이썬 함수 정의, 반복문 실행

6. 파이썬 py 파일로 실행파일 만들기

7. 윈도우 스케줄러에 실행파일 등록 

 

1. 파이썬 설치 / pip 설치

www.python.org/downloads/

Download Python

파이썬 홈페이지에서 파이썬을 다운받습니다.

설치시 환경변수 설정을 꼭 체크해줍니다. (Add python XXX to PATH)

 

환경변수 설정이 됐으면 cmd에 python --version 입력시 버전이 표시됩니다.

파이썬 설치 확인

 

파이썬 패키지를 관리하는 pip를 설치하기 위해

관리자 모드로 파이썬 설치 경로에서 cmd 실행 후

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py.

를 입력합니다.

 

파이썬 경로는 일반적으로 Local\Programs\Python\Python버전 폴더 내에 있습니다.

탐색기에서 파일 경로에 %appdata%를 입력하면 AppData 내의 Roaming 폴더로 이동되는데 이 폴더 상위의 Local 폴더 > Programs > Python > Python39 폴더에 설치되어 있습니다. (파이썬 3.9.1 기준)

 

파이썬 경로

이후 cmd에서 

python get-pip.py. 를 입력합니다.(해당 경로에 python.exe 파일이 있어야 합니다)

 

설치가 완료되면 Scripts 폴더에 pip.exe가 생겨 있습니다.

pip 경로

2. selenium, webdriver_manager 설치

pip.exe가 있는 경로에서 cmd로

pip3.9(사용하는 python 버전에 따라 다름) install selenium

셀레니움 설치 완료 후에는 

pip3.9 install webdriver-manager를 입력합니다.

웹드라이버 설치가 완료되면 다음으로 넘어갑니다.

 

기존 크롤링에 셀레니움 사용시 크롬 드라이버를 주로 사용하는데,

현재 사용중인 크롬 버전과 일치하는 크롬 드라이버를 인터넷에서 다운받아

파이썬 코드 파일과 같은 위치에 놓고 사용해야 하는 불편함이 있습니다.

 

현재 사용중인 크롬 버전이 업데이트되면 크롬 드라이버도 업데이트 해야 하는 거죠.

이런 불편함을 해소하기 위해 나온 것이 웹 드라이버 매니저입니다.

 

- 크롬 드라이버 버전별 다운 경로(웹 드라이버 이용시 필요 없음)

sites.google.com/a/chromium.org/chromedriver/downloads

 

웹 드라이버 매니저 사이트

pypi.org/project/webdriver-manager/

 

사용 방법은 다음 포스팅에 업로드하겠습니다.

hanaweb.tistory.com/37