파이썬 크롤링, 스크롤링 / python crawling

[크롤링]

설치

 

업데이트

 

뷰티풀숩

 

 

import requests

from bs4 import BeautifulSoup

html= requests.get('https://codingeverybody.github.io/scraping_sample/1.html')

 

soup = BeautifulSoup(html.text, 'html.parser')

print(soup.title.string)                            #title 태그 string값

articles = soup.findAll('div',{'class' : 'em'})     #클래스 명 em 인 것

print(articles[0].text)

 

---

뷰티풀숩일 경우 html만 사용가능

 

JSON 형태나 자바스크립트 형태일 경우

https://m.blog.naver.com/21ahn/221329219163

[python] 대표적인 크롤링 3가지(html, Ajax, JavaScript) (Ask Django)