민주의네모들

지난 포스팅에서는 웹 페이지에서 원하는 평문(text)과 표(table)를 크롤링하는 방법을 알아보았다. (아래 링크 참조) 2020/02/14 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 / 평문(text) [python] Selenium으로 웹 페이지 크롤링하기 / 평문(text) 1. Selenium 이란? 이번 포스팅에서는 selenium이라는 프레임워크를 통해 웹 페이지를 크롤링하는 방법에 대해 간단히 살펴보겠다. Selenium이란 주로 웹앱을 테스트하는 웹 프레임워크이다. webdriver의 API를 통.. minjoos.tistory.com 2020/02/24 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 2 / 표(table)..

지난 포스팅에서는 웹 페이지에서 원하는 평문(text)를 크롤링하는 방법에서 알아보았다. (아래 링크 참조) 2020/02/14 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 [python] Selenium으로 웹 페이지 크롤링하기 1. Selenium 이란? 이번 포스팅에서는 selenium이라는 프레임워크를 통해 웹 페이지를 크롤링하는 방법에 대해 간단히 살펴보겠다. Selenium이란 주로 웹앱을 테스트하는 웹 프레임워크이다. webdriver의 API를 통.. minjoos.tistory.com 오늘은 평문이 아닌 특정 형태를 가지고 있는 정보들 중에서, 표(table)에 담긴 정보를 크롤링하는 방법에 대해 알아보겠다. (사실 별거 없고 코드만 살짝 바뀔 뿐이다) f..

1. Selenium 이란? 이번 포스팅에서는 selenium이라는 프레임워크를 통해 웹 페이지를 크롤링하는 방법에 대해 간단히 살펴보겠다. Selenium이란 주로 웹앱을 테스트하는 웹 프레임워크이다. webdriver의 API를 통해 브라우저를 제어하기 때문에 자바스크립트에 의해 동적으로 생성되는 사이트의 데이터를 크롤링할 때 매우 유용하게 사용되는 스크래핑 도구이다. 2. Selenium 사용법 selenium은 크롬이나 파이어폭스같은 각 브라우저의 webdriver API를 통해 브라우저를 제어한다. 따라서 자신이 쓰고자 하는 브라우저의 driver를 다운받아서 프로그래밍 언어를 통해 제어하는 것이 일반적이다. 나는 크롬을 주로 사용하기 때문에 chromedriver를 먼저 다운받도록 하겠다. h..