[Python] Python을 이용한 Crawling (BeautifulSoup, Selenium)

# 라이브러리
import requests
from bs4 import BeautifulSoup

# request.get 함수로 서버에 응답 요청
url = "https://news.daum.net/"
response = requests.get(url)
print(response)

response.text 

soup = BeautifulSoup(response.text, 'html.parser')
print(type(soup))

# print(soup.head)
# print(soup.body)
print(soup)

# find : 가장 먼저 나타나는 태그를 찾는다.  
soup.find(name='ul')

# find_all : 모든 태그를 찾는다.
ul_data = soup.find_all(name='ul')
len(ul_data)

# class 속성이 list_newsissue 인 ul 태그를 모두 찾는다.
newsissue = soup.find_all(name='ul', attrs={'class':'list_newsissue'})

# 태그 선택자를 이용   
ul_list = soup.select('ul')

# class 속성값이 list_newsissue인 경우
class_list = soup.select('.list_newsissue')

# id 속성자를 이용하여 찾기
id_list = soup.select('#kakaoServiceLogo')   

# class_list[0] 안에 들어 있는 li 태그들 (class 속성자를 이용)
li_list = soup.select('.list_newsissue > li') 

li_list = soup.select('ul.list_newsissue > li')

# 첫번째 뉴스 제목 추출 
link_text = li_list[0].select('a.link_txt')[0].text

# strip(): 앞 뒤 공백 제거   
link_text.strip()

# 첫번째 뉴스 카테고리 추출 
text_category = li_list[0].select('span.txt_category')[0].text
text_category.strip()

# list comprehension
[ t['alt'] for t in li_list[0].select('img.thumb_g') if t['alt'] != ""]

link = li_list[0].select('a.link_txt')[0]['href']
link

data = {'title': [], 'agency': [], 'category': [], 'link': []}
# li_list[0].select('a.link_txt')[0].text
# text_category = li_list[0].select('span.txt_category')[0].text

for item in li_list:
    try:        
        data['title'].append(item.select('a.link_txt')[0].text.strip())
        data['agency'].append( [ t['alt'] for t in item.select('img.thumb_g') if t['alt'] != ""][0] )
        data['category'].append(item.select('span.txt_category')[0].text.strip())
        data['link'].append(item.select('a.link_txt')[0]['href'].strip())
    except:
        print("error item:" + item)

# csv 파일로 저장
# index=False 인 경우 인덱스 번호 제외  
df.to_csv('news.csv', index=False)

#Selenium 드라이버 생성
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# Chrome 옵션 설정 
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 화면 없이 실행 

# Driver 서비스 실행 
service = Service(ChromeDriverManager().install())

# 웹 드라이버 초기화 
driver = webdriver.Chrome(service=service, options=options)

# 뉴스 사이트
url = "https://news.daum.net/"

driver.get(url)

# 페이지 소스 가져오기
from bs4 import BeautifulSoup
page_source = driver.page_source

soup = BeautifulSoup(page_source, 'html.parser')

# 태그 검색
print('title 태그 요소: ', soup.title)
print('title 태그 이름: ', soup.title.name)
print('title 태그 문자열: ', soup.title.text)

from selenium.webdriver.common.by import By

# 경제 뉴스 클릭
economy = driver.find_element(By.CSS_SELECTOR, '#gnbContent > div > ul > li:nth-child(4) > a')
# click 액션  
economy.click()

# 페이지 로딩되는데 대기 시간 설정 (최대 5초)    
driver.implicitly_wait(5)

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions

# wait until someid is clickable
wait = WebDriverWait(driver, 10)
element = wait.until(expected_conditions.element_to_be_clickable((By.ID, 'someid')))

# 이제 page_source 는 경제 카테고리를 클릭하여 나온 html을 가져온다 
soup = BeautifulSoup(driver.page_source, 'html.parser')

# 실시간 경제 뉴스 검색 
news = soup.select('#timeline > ul > li')   

# 첫번째 요소만 선택 ( select_one )
news[0].select_one("a.link_txt").text.strip()

# 페이지를 이동하면서 데이터를 수집하여 정리하는 함수
def get_news(driver, category):

    # 모든 category 찾기
    category_tabs = driver.find_elements(By.CSS_SELECTOR, '#gnbContent > div > ul > li')
    # category 별 dictionary 생성
    category_dict = {category.text:category for category in category_tabs}
    target_category = category_dict[category]
    
    target_category.click()
    
    # result
    data = {'title': [], 'agency': [], 'category': [], 'link': [], 'time_line': []}
    
    current_page = 1
    while current_page < 6:
        
        try:
            page_numbers = WebDriverWait(driver, 5).until(
                expected_conditions.presence_of_all_elements_located((By.CSS_SELECTOR, '#timeline > div > div > .num_paging'))
            )

            for p in page_numbers:
                if(p.text == '다음'): 
                    continue
                if(int(p.text) == current_page):
                    print(p.text)
                    p.click()
                    time.sleep(1)
                    
                    soup = BeautifulSoup(driver.page_source, 'html.parser')
                    news = soup.select('#timeline > ul > li')

                    for current_news in news:
                        data['title'].append(current_news.select_one('strong> a').text.strip())
                        data['agency'].append(current_news.select_one('strong> span.info_cp').text.strip())
                        data['category'].append(category)
                        data['link'].append(current_news.select_one('strong> a')['href'].strip())
                        data['time_line'].append(current_news.select_one('em.txt_time').text.strip())
                    break
                        
            current_page = current_page + 1
                        
        except Exception as e:
            print(f"Error navigating to the next page: {e}")
            break
            
    return pd.DataFrame(data)