FLASK
[Flask] 웹 스크래핑 #9
자 마지막 글이 될 것이다. 정말 기쁘다 이렇게 쉽게 스크래핑이 가능하다니... 그럼 이어서 가보자!! 사용자가 keyword를 아무것도 작성하지 않으면 None이 뜬다. None이 뜰때 redirect방식으로 홈으로 이동시키자! 우선 import에 redirect를 추가할 것이고 if문으로 return시켜주자 from flask import Flask, render_template, request, redirect if keyword == None: return redirect("/") 이제 이 가지고 싶은 사람도 있을 것이다. 그래서 파일을 저장할 것이다. 그렇다면 로직은 ? 사용자가 keyword를 입력하게되면 => db에 저장한 후 => 그 파일을 다운로드하게끔! 정말 간단하다 우선 export라..
[Flask] 웹 스크래핑 #8
저번 글에서 검색을 하고 그 검색어에 맞는 url로 만들어주는 작업까지 해보았다. 이번 글에서는 wwr.py와 indeed.py를 연결하여 데이터들을 출력해줄 것이다. 이제 끝이 보인다!! #hello.py from flask import Flask, render_template, request from extractiors.indeed import extract_indeed_jobs from extractiors.wwr import extract_wwr_jobs app = Flask("JobScrapper") @app.route("/") def home(): return render_template("home.html",name="Ryan") @app.route("/search") def hello()..
[Flask] 웹 스크래핑 #7
Python으로 웹 스크래핑을 완벽히 해내셨다면 Python의 프레임워크인 Flask로 구현을 해보려고한다. 만약 Html과 css를 모르시는 분은 간단히라고 공부하고 오시길 바란다. 우선, Flask를 설치하기 전에 file.py를 생성해주자 더보기 #file.py def save_to_file(file_name,jobs): file = open(f"{file_name}.csv", "w", encoding="utf-8") file.write("Position,Company,Location,URL\n") for job in jobs: file.write( f"{job['position']},{job['company']},{job['location']},{job['link']}\n" ) file.close..
[Python] 웹 스크래핑 #6
이번 글에서는 Python에서 파일을 열고 파일에 내용을 쓰는 것이 얼마나 쉬운지 살펴볼 것이다 hello.py에서 전의 코드를 주석처리하고 다음의 코드를 집어넣는다 # wwr = extract_wwr_jobs(keyword) # indeed = extract_indeed_jobs(keyword) # jobs = indeed , wwr -->file = open(f"{keyword}.csv", "w") 그렇게 되면 hello.py와 같은 위치에 csv파일이 생성된다. 이번에 csv파일에 내가 원하는 데이터를 적어보겠다. 코드=> 더보기 from extractiors.wwr import extract_wwr_jobs from extractiors.indeed import extract_indeed_jobs..
[Python] 웹 스크래핑 #5
저번 글에 이어서 계속 진행하겠다. 더보기 from requests import get #pip install requests from bs4 import BeautifulSoup from extractiors.wwr import extract_wwr_jobs from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager options = Options() options.add_argument("--no-sandbox")..