[패스트캠퍼스] 데이터 분석 부트캠프 17기 - 4주차 (1) 크롤링 실습 셀레늄

주요 학습 내용 요약

Part3. 내게 필요한 정보를 자동으로 수집 ! with 웹 크롤링

CH02. 크롤링 실습

(1) 셀레늄을 활용한 크롤링 - SRT 기차표 예매 자동화 프로그램 만들기

 

1. selenium의 webdriver import 후 SRT 로그인 페이지 열기

SRT의 메인 화면을 가지 않고 로그인 페이지로 바로 가는 이유는, 과정을 단순화 하기 위해서.
오류를 최소화 하기 위해, 코드의 과정을 단순히 하는 접근법을 생각하자.

 

2. 휴대전화번호로 로그인하기

XPATH는 중복값을 허용하지 않기 때문에, 중복되는 ID로 변수를 찾기 어려울 때 쓰기 좋다.
단일 데이터를 찾을 때는 XPATH, 여러 데이터를 찾을 때는 ID로 찾자. 

XPATH를 가져오는 법
: 개발자 도구 - [확인]버튼의 코드 찾기 - 마우스 오른쪽 눌러서 - copy - xpath

 

3. 로그인 후 [일반 승차권 조회]페이지로 가기
메인 홈페이지에 [간편 조회하기]영역도 있지만, 오류 최소화를 위해 바로 링크로 들어가자

4. 출발역, 도착역, 출발 시간 변경 후 열차 조회하기

 

5. 첫 기차부터 '매진'인지 '예매하기'인지 반복해서 확인 후, '예매하기'이면 클릭하기

5번째 코드 뒤에 num+= 빠짐 ~~깜빡쓰

출력

화면

 

 

---

보완할 점

• 코드를 시작 하기 전에 출발역, 도착역, 출발날짜, 출발시간을 한번에 입력받는 코드 추가
• 최신 기준 10개 기차 말고, 전체 기차 조회하는 코드로 변경
• 시간이 임박한 기차일 경우, 위의 사진과 같은 창이 뜸. 이때 다시 조회로 돌아가는 코드 추가
  -> 처음부터 현재시간 20분 후의 기차부터 조회 하는 코드 추가해도 될 듯
• 예매하기 창이 떴을 때, 결제하는 코드까지 추가하면 완벽할듯