web scraping

파이썬 뷰티풀수프를 이용해 웹 스크랩핑을 해보자.

네이버의 투자 정보를 이용해 삼성전자의 현재가와 상한가, per를 출력한다.

뷰티풀수프의 select 구문만 이용 할 것이다.

soup.select("div")   태그 찾기
soup.select("#per")  아이디로 찾기
soup.select(".per")  클래스로 찾기

soup.select("div a")  태그 자손 태그 찾기
soup.select("head > title")  태그 바로 아래 자식 찾기

soup.select("#code ~ .price")  아이디 code의 태그와 형제 관계중 price 클래스인 모든 태그
soup.select("#code ~ +price")  아이디 code의 태그와 형제 관계중 price 클래스인 첫번째 태그

삼성전자의 현재가를 출력

import requests
from bs4 import BeautifulSoup

url = 'https://finance.naver.com/item/sise.naver?code=005930'

response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html5lib')

price = soup.select_one("#_nowVal").text
print('현재가=', price)

결과)
현재가= 76,700

삼성전자 per 출력

import requests
from bs4 import BeautifulSoup

url = 'https://finance.naver.com/item/sise.naver?code=005930'

response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html5lib')

per = soup.select_one("#_sise_per")
per = per.get_text()
per = per.replace('\t', '')
per = per.replace('\n', '')
per = per.replace('\r', '')
per = per.replace(' ', '')
print(f'per=[{per}]')

per는 아이디 _sise_per로 찾는다.

결과)
per=[35.99]

삼성전자 상한가 출력


상한가는 아이디가 없다. 이럴때는 크롬의 개발창을 이용해 요소의 위치를 찾을수 있다.

크롬에서 원하는 요소의 값 얻을려면 다음과 같이 한다.
  1. 원하는 요소위로 마우스 이동
  2. 마우스 오른쪽 버튼 클릭 > 검사 메뉴 선택
  3. 크롬 개발뷰에서 요소 탭 선택
  4. 원하는 요소위에서 마우스 오른쪽 버튼 클릭  > 복사 > selector 복사





메모장에 붙여 넣기를 하면 다음과 같이 나온다.

#content > div.section.inner_sub > div:nth-child(1) > table > tbody > tr:nth-child(8) > td:nth-child(2) > span


import requests
from bs4 import BeautifulSoup

url = 'https://finance.naver.com/item/sise.naver?code=005930'

response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html5lib')

price = soup.select_one("#_nowVal").text
print('현재가=', price)

price = soup.select_one("#content > div.section.inner_sub > div:nth-child(1) > table > tbody > tr:nth-child(8) > td:nth-child(2) > span")
price = price.get_text()
price = price.replace('\t', '')
price = price.replace('\n', '')
price = price.replace('\r', '')
price = price.replace(' ', '')
print(f'상한가=[{price}]')

결과)
현재가= 76,700
상한가=[99,100]