python web site parsing
-
[python] 웹 사이트 크롤링(parsing) with BeautifulSoup/requests/seleniumPrograming/python 2020. 3. 16. 01:55
python을 이용해 웹 사이트 파싱을 한번 해보자. 간단한 파싱 예제는 구글에 검색하면 충분히 접 할 수 있다. 이 글은 javascript를 통해 비동기적으로 데이터가 뿌려지거나(딜레이 로드), 파싱하는 과정에서 클릭 등과 같은 이벤트가 필요할때 유용하고자 함을 목적으로 한다. python3를 사용하며, 필요한 모듈은 아래와 같이 pip3를 사용해 설치해준다. # install modules pip3 install requests # 이 예제에선 사용 안함 pip3 install bs4 pip3 install selenium pip3 install webdriver-manager 그리고 여기 에서 OS에 맞게 geckodriver를 다운로드하여 적당한 위치에 압축을 풀어준다. 나의 경우 프로젝트 루트..