웹 스크래핑5(CSV, 네이버 금융)

스크래핑한 내용을 csv파일 형태로 저장하기

 

1. 네이버 금융 페이지 정보 테이블 soup으로 가져오기

import csv
import requests
from bs4 import BeautifulSoup

url = "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page="

for page in range(1, 2):
    res = requests.get(url + str(page)) #페이지 수
    res.raise_for_status()
    soup = BeautifulSoup(res.text, "lxml")

    data_rows = (
        soup.find("table", attrs={"class": "type_2"}).find("tbody").find_all("tr")
    ) #테이블에서 tbody에서 tr(각 줄)
    for row in data_rows: #한 줄씩
        columns = row.find_all("td") #td 모두 저장
        if len(columns) <= 1:  # 의미 없는 데이터(빈줄)는 skip
            continue
        data = [column.get_text().strip() for column in columns] #td하나씩, 빈칸 없애기
        print(data)

 

2.csv에 저장

filename = "시가총액1-200.csv"
f = open(filename, "w", encoding="utf-8-sig", newline="")
writer = csv.writer(f)

title = "N	종목명	현재가	전일비	등락률	액면가	시가총액	상장주식수	외국인비율	거래량	PER	ROE".split("\t")
# ["N", "종목명", .....]  리스트로
writer.writerow(title)

위 for문 안에:
	writer.writerow(data)  # data 적기