[HTML] 웹 크롤링 : 데이터 자급자족을 위한 크롤링 도전기

# HTTP 요청을 보내고 응답을 받는 기능을 사용하기 위한 import
import requests

# 웹 페이지에서 필요한 정보를 쉽게 가져오기 위한 import  
from bs4 import BeautifulSoup as bs

# 데이터를 구조화하고 처리하는 데 사용하기 위한 import
import pandas as pd

# url 주소
url = 'https://finance.naver.com/sise/sise_quant.naver'

# 해당 URL에 HTTP 요청을 보내고, 변수 response에 응답을 저장
response = requests.get(url)

# response 객체의 내용을 HTML 파싱하여 soup 객체로 만든 후 출력
soup = bs(response.content, 'html.parser')
print(soup)

# <table> 태그 중에서 클래스가 'type_2'인 것을 찾아서 table 변수에 저장
table = soup.find('table', class_ = 'type_2')
print(table)

# table 변수에서 모든 <tr> 태그를 찾아서 리스트로 반환
tr = table.find_all('tr')
print(tr)

# 젤 첫 행이 tr의 세 번째에 위치해서 해당 코드 돌리면 젤 첫 행이 나옴.
td1 = tr[2].find_all('td')
print(td1)

# 종목명, 현재가, 거래량, 거래대금, 매수호가, 매도호가, 시가총액, PER, ROE 정보 가져오기
variables = []

for index in range(1, 12):
    if index in [1, 2, 5, 6, 7, 8, 9, 10, 11]:
        variables.append(td1[index].text)
        
for variable in variables:
    print(variable)

# 행별로 종목명, 현재가, 거래량, 거래대금, 매수호가, 매도호가, 시가총액, PER, ROE 정보 가져오기
data = []  # 모든 데이터를 담을 리스트

for tr in table.find_all('tr'):  # 모든 <tr> 태그를 찾아서 반복 (각 행의 데이터를 가져옴)
    tds = list(tr.find_all('td'))  # 모든 <td> 태그를 찾아서 리스트로 만듦 (각 행의 값을 리스트로 만듦)

    row_data = []  # 한 행의 데이터를 담을 리스트

    for td in tds:  # <td> 태그 리스트 반복 (각 행의 값을 가져옴)
        if td.find('a'):  # <td> 안에 <a> 태그가 있으면 (지점인지 확인)
            row_variables = [] # 한 행의 값들에 대한 데이터를 담을 리스트

            for index in range(1, 12):
                if index in [1, 2, 5, 6, 7, 8, 9, 10, 11]:
                    row_variables.append(tds[index].text)

            row_data.extend(row_variables)  # 현재 행의 데이터를 전체 데이터 리스트에 추가

    if row_data:  # 행 데이터가 비어있지 않으면 추가
        data.append(row_data)

# 결과 출력
for row in data:
    print(row)  

# 데이터프레임으로 변환
df = pd.DataFrame(data, columns=['종목명', '현재가', '거래량', '거래대금', '매수호가', '매도호가', '시가총액', 'PER', 'ROE'])
df

df.to_csv('/Users/hyewon/Downloads/24-1 정적 크롤링.csv') 

# selenium의 webdriver를 사용하기 위한 import
from selenium import webdriver

# selenium으로 키를 조작하기 위한 import
from selenium.webdriver.common.keys import Keys

# selenium으로 매개변수 경로를 이용하기 위한 import
from selenium.webdriver.common.by import By

# 페이지 로딩을 기다리는데에 사용할 time 모듈 import
import time

# 데이터를 구조화하고 처리하는 데 사용하기 위한 import
import pandas as pd

# 크롬드라이버 실행
driver = webdriver.Chrome()

#크롬 드라이버에 url 주소 넣고 실행
url = 'https://www.naver.com/'
driver.get(url)

# 페이지가 완전히 로딩되도록 3초동안 기다림
time.sleep(3)

# 검색할 키워드 입력 
query = input('검색할 키워드를 입력하세요: ') 

# 검색어 창을 찾아 search 변수에 저장 (ID 이용방식)  
search_box = driver.find_element(By.ID, 'query')

# 검색창에 검색어를 입력한 상태가 되도록 하기  
search_box.send_keys(query) 

# 검색어를 치고 엔터키를 입력하는 것과 같은 효과
search_box.send_keys(Keys.RETURN)

# 페이지가 완전히 로딩되도록 2초동안 기다림
time.sleep(2)

# 뉴스 탭 클릭하기
driver.find_element(By.XPATH,'//*[@id="lnb"]/div[1]/div/div[1]/div/div[1]/div[9]').click()    

# 페이지가 완전히 로딩되도록 2초동안 기다림
time.sleep(2)

# 스크롤을 최하단으로 내리기 위한 함수
def scroll_to_bottom(driver):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)
    
# 초기에 한 번 스크롤
scroll_to_bottom(driver)

# 일정 횟수만큼 스크롤을 반복하기 : 스크롤 할 때마다 새로운 기사가 추가되므로
scroll_count = 10
for _ in range(scroll_count):
    scroll_to_bottom(driver)

# 스크롤을 모두 내린 후의 페이지 소스 가져오기
page_source = driver.page_source

#여러 개의 요소를 가져오기 때문에 find_elemesnts 
news_titles = driver.find_elements(By.CLASS_NAME, 'news_tit')

for i in news_titles:
    title = i.text # 뉴스 기사 제목 가져오기 
    print(title)

for i in news_titles:
    href = i.get_attribute('href') # get_attribute = 속성값 가져오기
    print(href)

titlelist = []  # 뉴스 기사 제목 리스트 생성
hreflist = []  # 뉴스 기사 링크 리스트 생성

for i in news_titles:
    title = i.text # 뉴스 기사 제목(텍스트)가져오기 
    titlelist.append(title)
    
    href = i.get_attribute('href') # 뉴스 링크 가져오기(속성값 = href)
    hreflist.append(href)
    
    print(titlelist)
    print(hreflist)

df = pd.DataFrame({"title": titlelist, "href":hreflist})
df

df.to_csv('/Users/hyewon/Downloads/24-1 동적 크롤링.csv')