파이썬8 웹 스크래핑8(selenium활용-네이버 항공권) from selenium import webdriver browser = webdriver.Chrome() browser.maximize_window() # 창 최대화 url = "https://flight.naver.com/flights/" browser.get(url) # url로 이동 # 가는 날 선택 클릭 browser.find_element_by_link_text("가는날 선택").click() # 이번달 27, 28일 선택 # browser.find_elements_by_link_text("27")[0].click() # [0]->이번달 # browser.find_elements_by_link_text("28")[0].click() # [0]->이번달 # 다음달 27, 28일 선택 # brow.. 2021. 7. 8. 웹 스크래핑7(selenium심화-네이버로그인) import time from selenium import webdriver browser = webdriver.Chrome() # 지금은 같은 폴더에 있어서 괄호 비어도 ok(아닌 경우엔 괄호 안에 경로 적어야함) # 1.네이버로 이동 browser.get("http://naver.com") # 크롬 웹 드라이버에서 브라우저 생성하고 해당 주소로 이동 # 2.로그인 버튼 클릭 elem = browser.find_element_by_class_name("link_login") elem.click() # 3. id, pw 입력 browser.find_element_by_id("id").send_keys("naverid") browser.find_element_by_id("pw").send_keys("pas.. 2021. 7. 8. 웹 스크래핑6(Selenium기본) 페이지 테스트 자동화 프레임워크: 웹에서 글자 입력이나 클릭 등의 액션을 할 수 있음 - pip install selenium :selenium 설치 - 웹 드라이버 설치: chromedriver (반드시 사용자 크롬의 버전과 동일한 버전으로 다운) 1. 웹 드라이버 생성, 시작 from selenium import webdriver browser = webdriver.Chrome() # 지금은 같은 폴더에 있어서 괄호 비어도 ok(아닌 경우엔 괄호 안에 경로 적어야함) browser.get("http://naver.com") # 크롬 웹 드라이버에서 브라우저 생성하고 해당 주소로 이동 2. 터미널에서 작업 가능 i) from selenium import webdriver browser=webdriver.. 2021. 7. 8. 웹 스크래핑5(CSV, 네이버 금융) 스크래핑한 내용을 csv파일 형태로 저장하기 1. 네이버 금융 페이지 정보 테이블 soup으로 가져오기 import csv import requests from bs4 import BeautifulSoup url = "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=" for page in range(1, 2): res = requests.get(url + str(page)) #페이지 수 res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") data_rows = ( soup.find("table", attrs={"class": "type_2"}).find("tbody").find_a.. 2021. 7. 7. 웹 스크래핑4(다음 영화) 다음 영화 연도별 역대 관객순위 url형태: https://search.daum.net/search?w=tot&q= 2020년영화순위&DA=MOR&rtmaxcoll=MOR 이미지를 다른이름으로 저장하려면 링크 3번을 타고 들어가야 함. 1.이미지 링크 출력 import requests from bs4 import BeautifulSoup res = requests.get( "https://search.daum.net/search?w=tot&q=2020%EB%85%84%EC%98%81%ED%99%94%EC%88%9C%EC%9C%84&DA=MOR&rtmaxcoll=MOR" ) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") images = sou.. 2021. 7. 6. 웹 스크래핑3(쿠팡) 쿠팡사이트에 '노트북' 검색-> https://www.coupang.com/np/search?q=%EB%85%B8%ED%8A%B8%EB%B6%81&channel=user&component=&eventCategory=SRP&trcid=&traid=&sorter=scoreDesc&minPrice=&maxPrice=&priceRange=&filterType=&listSize=36&filter=&isPriceRange=false&brand=&offerCondition=&rating=0& page=1&rocketAll=false&searchIndexingToken=1=4&backgroundColor= http 서버에 요청을 보내면 서버는 그 요청에 맞는 응답을 보내는데 이때 요청에 http method가 포함됨... 2021. 7. 2. 이전 1 2 다음
