웹스크래핑

[Python] 웹 스크래핑 #3

저번 [Python] 웹 스크래핑 #2 글까지 잘 따라왔다면 아래 코드와 같이 출력이 되었다 더보기 OpenCraft Full-Time Anywhere in the World [Senior Open Source Developer & DevOps (Python, Django, React, AWS/OpenStack)] ////////// Proxify AB Full-Time Anywhere in the World [Senior Python Engineer: Long-term job - 100% remote] ////////// lemon.io Full-Time Latin America Only/Europe Only/Canada Only [Python Developer] ////////// Optimile F..

[Python] 웹 스크래핑 #2

저번글에서 원하는 url에서 모든 html을 text로 가져와보았다. 하지만 내가 원하는 것은 원하는 정보만을 가져오는 것이다. 이번 글에서 그 작업을 해보겠다. 그러기 위해서는 BeautifulSoup이라는 라이브러리가 필요하다. "혹시 설치가 안된분은 앞글을 참고하기 바란다" https://lcm9243.tistory.com/75 [Python] 웹 스크래핑 웹 스크래핑이란 무엇일까? 웹페이지 상에는 엄청나게 많은 데이터들이 클라이언트들에게 보여지고 있다. 많은 사람들은 스크래핑과 크롤링을 같은 기술로 착각하는데 아니다. 엄연히 다른 기 lcm9243.tistory.com 이제 우리는 밑의 사진 처럼 이 많은 html text에서 jobs라는 class를 가진section을 찾을 것이다 그러고 나서 ..

[Python] 웹 스크래핑 #1

웹 스크래핑이란 무엇일까? 웹페이지 상에는 엄청나게 많은 데이터들이 클라이언트들에게 보여지고 있다. 많은 사람들은 스크래핑과 크롤링을 같은 기술로 착각하는데 아니다. 엄연히 다른 기술이다. Web Scraping(웹 스크래핑)이란? 웹 사이트 상에서 원하는 부분의 위치한 데이터를 추출하여 수집하는 기술. Web crawling(웹 크롤링)이란? 자동화 봇(bot)인 웹 크롤러(web crawler)가 정해진 규칙에 따라 복수 개수 웹 페이지를 브라우징하는 행위라고 하며 웹 스파이더링이라고도 합니다. 나는 VSCode에서 웹 크롤링을 진행할 것이다. 우선 beautiful soup와 requests를 설치를 해줍니다. 터미널을 열어 밑의 두 문장을 입력해줍니다. pip install beautifulsou..