| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- 날짜
- 함수
- ASP
- 유니티
- sqlite
- ubuntu
- port
- MS-SQL
- javascript
- urllib
- PyQt
- pandas
- PER
- MySQL
- mssql
- Linux
- 리눅스
- flutter
- 다이어트
- python
- PyQt5
- Excel
- Unity
- IOS
- node.js
- tensorflow
- 맛집
- GIT
- swift
- 라즈베리파이
목록requests (2)
아미(아름다운미소)
Python 간단한 Web Scraping 예제
웹사이트에서 HTML을 읽어와 필요한 데이타를 긁어오는 것을 Web Scraping이라 한다. 이 과정은 크게 웹페이지를 읽어오는 과정과 읽어온 HTML 문서에서 필요한 데이타를 뽑아내는 과정으로 나뉠 수 있습니다. 웹페이지를 읽어오는 일은 여러 모듈을 사용할 수 있는데, 파이썬에서 기본적으로 제공하는 urllib, urllib2 을 사용하거나 편리한 HTTP 라이브러리로 많이 쓰이고 있는 requests 를 설치해 사용할 수 있습니다. 만약 기존 코드를 유지보수하는 일이 아니라면 requests 를 사용할 것을 권장합니다. HTTP 라이브러리인 requests를 사용하기 위해서는 먼저 아래와 같이 pip을 이용하여 requests 패키지를 설치합니다. pip install requests 웹페이지 HT..
[BeautifulSoup]웹에서 정보 가져오기
Python에는 requests라는 유명한 http request 라이브러리가 있습니다. 설치하기(pip로 간단하게 설치가 가능합니다.) pip install requests Requests는 정말 좋은 라이브러리이지만, html을 ‘의미있는’, 즉 Python이 이해하는 객체 구조로 만들어주지는 못합니다. 위에서 req.text는 python의 문자열(str)객체를 반환할 뿐이기 때문에 정보를 추출하기가 어렵습니다. 따라서 BeautifulSoup을 이용해야 합니다. 이 BeautifulSoup은 html 코드를 Python이 이해하는 객체 구조로 변환하는 Parsing을 맡고 있고, 이 라이브러리를 이용해 우리는 제대로 된 ‘의미있는’ 정보를 추출해 낼 수 있습니다. 설치하기 BeautifulSoup..