파이썬

[Flask] 웹 스크래핑 #9

자 마지막 글이 될 것이다. 정말 기쁘다 이렇게 쉽게 스크래핑이 가능하다니... 그럼 이어서 가보자!! 사용자가 keyword를 아무것도 작성하지 않으면 None이 뜬다. None이 뜰때 redirect방식으로 홈으로 이동시키자! 우선 import에 redirect를 추가할 것이고 if문으로 return시켜주자 from flask import Flask, render_template, request, redirect if keyword == None: return redirect("/") 이제 이 가지고 싶은 사람도 있을 것이다. 그래서 파일을 저장할 것이다. 그렇다면 로직은 ? 사용자가 keyword를 입력하게되면 => db에 저장한 후 => 그 파일을 다운로드하게끔! 정말 간단하다 우선 export라..

[Flask] 웹 스크래핑 #8

저번 글에서 검색을 하고 그 검색어에 맞는 url로 만들어주는 작업까지 해보았다. 이번 글에서는 wwr.py와 indeed.py를 연결하여 데이터들을 출력해줄 것이다. 이제 끝이 보인다!! #hello.py from flask import Flask, render_template, request from extractiors.indeed import extract_indeed_jobs from extractiors.wwr import extract_wwr_jobs app = Flask("JobScrapper") @app.route("/") def home(): return render_template("home.html",name="Ryan") @app.route("/search") def hello()..

[Python] 웹 스크래핑 #6

이번 글에서는 Python에서 파일을 열고 파일에 내용을 쓰는 것이 얼마나 쉬운지 살펴볼 것이다 hello.py에서 전의 코드를 주석처리하고 다음의 코드를 집어넣는다 # wwr = extract_wwr_jobs(keyword) # indeed = extract_indeed_jobs(keyword) # jobs = indeed , wwr -->file = open(f"{keyword}.csv", "w") 그렇게 되면 hello.py와 같은 위치에 csv파일이 생성된다. 이번에 csv파일에 내가 원하는 데이터를 적어보겠다. 코드=> 더보기 from extractiors.wwr import extract_wwr_jobs from extractiors.indeed import extract_indeed_jobs..

[Python] 웹 스크래핑 #5

저번 글에 이어서 계속 진행하겠다. 더보기 from requests import get #pip install requests from bs4 import BeautifulSoup from extractiors.wwr import extract_wwr_jobs from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager options = Options() options.add_argument("--no-sandbox")..

[Python] 웹 스크래핑 #4

저번글에서 말했듯이 indeed.com에 접속을 해준다. 접속한 후에 검색어란에 python이라고 쳐보면 python직종이 다나온다 그렇다면 url을 분석해보면 https://kr.indeed.com/jobs?q=python 으로 jobs?q= 뒤에 python이 오게되는 것을 알 수 있다. default값인 url을 from requests import get #pip install requests from bs4 import BeautifulSoup from extractiors.wwr import extract_wwr_jobs base_url ="https://kr.indeed.com/jobs?q=" search_term = "python" response = get(f"{base_url}{sear..

[Python] 웹 스크래핑 #3

저번 [Python] 웹 스크래핑 #2 글까지 잘 따라왔다면 아래 코드와 같이 출력이 되었다 더보기 OpenCraft Full-Time Anywhere in the World [Senior Open Source Developer & DevOps (Python, Django, React, AWS/OpenStack)] ////////// Proxify AB Full-Time Anywhere in the World [Senior Python Engineer: Long-term job - 100% remote] ////////// lemon.io Full-Time Latin America Only/Europe Only/Canada Only [Python Developer] ////////// Optimile F..

[Python] 웹 스크래핑 #2

저번글에서 원하는 url에서 모든 html을 text로 가져와보았다. 하지만 내가 원하는 것은 원하는 정보만을 가져오는 것이다. 이번 글에서 그 작업을 해보겠다. 그러기 위해서는 BeautifulSoup이라는 라이브러리가 필요하다. "혹시 설치가 안된분은 앞글을 참고하기 바란다" https://lcm9243.tistory.com/75 [Python] 웹 스크래핑 웹 스크래핑이란 무엇일까? 웹페이지 상에는 엄청나게 많은 데이터들이 클라이언트들에게 보여지고 있다. 많은 사람들은 스크래핑과 크롤링을 같은 기술로 착각하는데 아니다. 엄연히 다른 기 lcm9243.tistory.com 이제 우리는 밑의 사진 처럼 이 많은 html text에서 jobs라는 class를 가진section을 찾을 것이다 그러고 나서 ..

[Python] 웹 스크래핑 #1

웹 스크래핑이란 무엇일까? 웹페이지 상에는 엄청나게 많은 데이터들이 클라이언트들에게 보여지고 있다. 많은 사람들은 스크래핑과 크롤링을 같은 기술로 착각하는데 아니다. 엄연히 다른 기술이다. Web Scraping(웹 스크래핑)이란? 웹 사이트 상에서 원하는 부분의 위치한 데이터를 추출하여 수집하는 기술. Web crawling(웹 크롤링)이란? 자동화 봇(bot)인 웹 크롤러(web crawler)가 정해진 규칙에 따라 복수 개수 웹 페이지를 브라우징하는 행위라고 하며 웹 스파이더링이라고도 합니다. 나는 VSCode에서 웹 크롤링을 진행할 것이다. 우선 beautiful soup와 requests를 설치를 해줍니다. 터미널을 열어 밑의 두 문장을 입력해줍니다. pip install beautifulsou..