O que \u00e9 web scraping Python? Voc\u00ea vai conhecer as infinitas possibilidades que voc\u00ea consegue fazer com essa aplica\u00e7\u00e3o!<\/p>\r\n\r\n\r\n\r\n
Com esse artigo voc\u00ea vai pode fazer um web scraper do zero e ainda sem complica\u00e7\u00e3o. \ud83d\ude09<\/p>\r\n\r\n\r\n\r\n
\r\n10 Livros de Python<\/a><\/strong> para ser um especialista<\/p>\r\n<\/blockquote>\r\n\r\n\r\n\r\n
O que \u00e9 web scraping?<\/strong><\/h2>\r\n\r\n\r\n\r\n
Web scraping \u00e9 uma coleta de dados da web, de sites, onde s\u00e3o usados scripts e programas para \u201craspar\u201d informa\u00e7\u00f5es destes sites e que poder\u00e3o ser usadas para futuras an\u00e1lises.<\/p>\r\n\r\n\r\n\r\n
Por exemplo, comparar pre\u00e7os, monitorar o tempo, pesquisar o que est\u00e1 em alta no mercado, entre muitas outras coisas.<\/p>\r\n\r\n\r\n\r\n
O tipo mais b\u00e1sico de web scraping \u00e9 o download de alguma p\u00e1gina web, que pode ser feito apenas apertando Ctrl+S ou Command+S em alguma p\u00e1gina, assim ele faz a coleta dos dados da p\u00e1gina e trata como um arquivo.<\/p>\r\n\r\n\r\n\r\n
N\u00e3o \u00e9 a melhor forma de se fazer web scraping, por exemplo, pois voc\u00ea precisar\u00e1 entrar na p\u00e1gina toda vez que quiser coletar as informa\u00e7\u00f5es e isso demanda um pouco de tempo, n\u00e3o acha?<\/p>\r\n\r\n\r\n\r\n
\u00c9 a\u00ed que o web scraping Python entra, para automatizar esta tarefa!<\/p>\r\n\r\n\r\n\r\n
Onde web scraping \u00e9 usado?<\/strong><\/h2>\r\n\r\n\r\n\r\n
O web scraping \u00e9 usado em v\u00e1rios lugares e contextos, alguns deles est\u00e3o na tarefa de algumas empresas.Como coletar pre\u00e7os e dados sobre o com\u00e9rcio eletr\u00f4nico de uma concorrente para ajustar qual produto colocar em promo\u00e7\u00e3o e promover o marketing.<\/p>\r\n\r\n\r\n\r\n
Os advogados tamb\u00e9m usam para ver relat\u00f3rios e arquivos de julgamentos passados para estudar, visualizar ou at\u00e9 tratar esses dados da forma que eles precisarem.<\/p>\r\n\r\n\r\n\r\n
Empresas de marketing tamb\u00e9m usam para coletar dados de perfis de pessoa para filtrar o p\u00fablico-alvo.<\/p>\r\n\r\n\r\n\r\n
Empresas de m\u00eddia, como o Twitter, Facebook e Instagram, usam o web scraping Python para ver t\u00f3picos e os assuntos que est\u00e3o em alta no momento.<\/p>\r\n\r\n\r\n\r\n
Al\u00e9m de jornalistas que recolhem informa\u00e7\u00f5es de alguma not\u00edcia, entrevista, relat\u00f3rio, reportagem.<\/p>\r\n\r\n\r\n\r\n
O que \u00e9 preciso para fazer um web scraping Python<\/strong>?<\/h2>\r\n\r\n\r\n\r\n
Para fazer um web scraping Python, obviamente vamos precisar do Python, mais especificamente a vers\u00e3o 3.<\/p>\r\n\r\n\r\n\r\n
Iremos usar o pip para baixar as bibliotecas que iremos usar para fazer o web scraping Python, que ser\u00e3o elas: a Beautiful Soup, a biblioteca requests, e um editor de texto de sua prefer\u00eancia.<\/p>\r\n\r\n\r\n\r\n
Python 3<\/strong><\/h3>\r\n\r\n\r\n\r\n
Voc\u00ea pode encontrar o instalador do Python<\/a> <\/strong>de acordo com o seu sistema operacional.<\/p>\r\n\r\n\r\n\r\n
Pip<\/strong><\/h2>\r\n\r\n\r\n\r\n
O pip<\/a><\/strong> vai servir para instalarmos as bibliotecas que iremos usar de uma forma f\u00e1cil e r\u00e1pida!<\/p>\r\n\r\n\r\n\r\n
Requests<\/strong><\/h3>\r\n\r\n\r\n\r\n
Para instalar a biblioteca que iremos usar para fazermos nossas requisi\u00e7\u00f5es \u00e9 a requests, voc\u00ea pode instalar-la facilmente com o pip com os seguintes comandos:<\/p>\r\n\r\n\r\n\r\n
No Linux:<\/p>\r\n\r\n\r\n\r\n
sudo pip install requests<\/code><\/p>\r\n\r\n\r\n\r\nNo Windows:<\/p>\r\n\r\n\r\n\r\n
Voc\u00ea tem que executar o cmd como administrador e usar o comando \u201cpip install requests\u201d.<\/p>\r\n\r\n\r\n\r\n
Beautifulsoup<\/strong><\/h3>\r\n\r\n\r\n\r\n
Por \u00faltimo, iremos instalar a biblioteca que iremos usar para fazer o web scraping Python, voc\u00ea pode instalar-la com o seguinte comando:<\/p>\r\n\r\n\r\n\r\n
No Linux:<\/p>\r\n\r\n\r\n\r\n
sudo pip install beautifulsoup 4<\/code><\/p>\r\n\r\n\r\n\r\nNo Windows:<\/p>\r\n\r\n\r\n\r\n
Execute o prompt de comando como administrador e instale-a com o comando
pip install beautifulsoup 4<\/code> e, se tudo der certo, vai retornar algo parecido com a imagem a seguir:<\/p>\r\n\r\n\r\n\r\n\r\n\r\nO que voc\u00ea pode fazer com web scraping Python?<\/strong><\/h2>\r\n\r\n\r\n\r\n
Voc\u00ea pode fazer muitas coisas com web scraping Python, neste artigo irei desenvolver um script bem simples que coleta dados e previs\u00f5es do site do Climatempo<\/a><\/strong> como um exemplo pr\u00e1tico.<\/p>\r\n\r\n\r\n\r\n
Iremos tratar esses dados e ver qual a temperatura m\u00ednima e m\u00e1xima de sua cidade, \u00e9 bem simples e introdut\u00f3rio.<\/p>\r\n\r\n\r\n\r\n
Ao longo do seu aprendizado, voc\u00ea pode adicionar mais e mais dados a este script para completar-lo. \u00c9 interessante dispor de um tempo para o script ser executado periodicamente e tamb\u00e9m pegar dados todos os dias, por exemplo.<\/p>\r\n\r\n\r\n\r\n
Depois de um m\u00eas executando diariamente, podemos tratar esses dados como: em qual semana choveu mais, em qual semana fez mais sol para depois fazer um gr\u00e1fico.<\/p>\r\n\r\n\r\n\r\n
Tamb\u00e9m \u00e9 legal fazer um script com o web scraping Python que raspa o pre\u00e7o de produtos em promo\u00e7\u00e3o em um dia espec\u00edfico, ou at\u00e9 pegar pre\u00e7o de X produtos antes da Black Friday e ver os pre\u00e7os deles novamente para ver os descontos.<\/p>\r\n\r\n\r\n\r\n
Voc\u00ea pode fazer isso e muito mais com o web scraping Python, \u00e9 uma combina\u00e7\u00e3o poderosa com infinitas possibilidades.<\/p>\r\n\r\n\r\n\r\n
Criando um web scraper do zero<\/strong><\/h2>\r\n\r\n\r\n\r\n
Prontinho, j\u00e1 instalamos tudo o que iremos precisar e agora vamos criar um web scraper do zero usando o Python.<\/p>\r\n\r\n\r\n\r\n
Primeiro, crie um arquivo com o nome que voc\u00ea preferir e com a extens\u00e3o
.py<\/code>, abra-o com o seu editor de texto e cole o seguinte c\u00f3digo:<\/p>\r\n\r\n\r\n\r\n
from bs4 import BeautifulSoup<\/code><\/p>\r\n\r\n\r\n\r\n
import requests<\/code><\/p>\r\n\r\n\r\n\r\n
html = requests.get(\"https:\/\/www.climatempo.com.br\/\").content<\/code><\/p>\r\n\r\n\r\n\r\n
soup = BeautifulSoup(html, 'html.parser')<\/code><\/p>\r\n\r\n\r\n\r\n
print(soup.prettify())<\/code><\/p>\r\n\r\n\r\n\r\nNestas linhas de c\u00f3digo, estamos importanto as bibliotecas BeautifulSoup e requests nas duas primeiras linhas.<\/p>\r\n\r\n\r\n\r\n
Na terceira estamos pegando todo o conte\u00fado de um requisi\u00e7\u00e3o get na url do Clima<\/strong> tempo<\/strong><\/a>.<\/p>\r\n\r\n\r\n\r\n
Na quarta e quinta linha \u00e9 criado um objeto chamado soup que est\u00e1 interpretando o documento HTML<\/a><\/strong>.<\/p>\r\n\r\n\r\n\r\n
Agora, execute-o no seu terminal ou prompt de comando com
python nome-do-seu-arquivo.py<\/code> e podemos ver que ele retornar\u00e1 todo o HTML da p\u00e1gina.<\/p>\r\n\r\n\r\n\r\nVai ser trabalhoso ler todo esse HTML at\u00e9 acharmos a informa\u00e7\u00e3o que estamos procurando, n\u00f3s vamos tratar e filtrar toda essa informa\u00e7\u00e3o at\u00e9 o script retornar o que precisamos que, nesse caso, ser\u00e1 a temperatura m\u00e1xima e m\u00ednima.<\/p>\r\n\r\n\r\n\r\n
temperatura = soup.find(\"span\", class_=\"_block _margin-b-5 -gray\")<\/code><\/p>\r\n\r\n\r\n\r\n
print(temperatura.string)<\/code><\/p>\r\n\r\n\r\n\r\nAdicione estas duas \u00faltimas linhas ao final do arquivo e execute-o novamente.<\/p>\r\n\r\n\r\n\r\n
Ver\u00e1 que vai retornar a temperatura m\u00e1xima e m\u00ednima, o que est\u00e1 acontecendo neste c\u00f3digo \u00e9 que na primeira linha estamos procurando dentro do objeto do beautifulsoup definido mais acima, a temperatura m\u00ednima e m\u00e1xima, \u201cspan \u201c\u00e9 a tag html, e \u201cclass_=\u201d \u00e9 a classe atribu\u00edda ao elemento.<\/p>\r\n\r\n\r\n\r\n
Voc\u00ea pode ver a classe e o elemento apertando Ctrl+Shift+C ou Command+Shift+C em uma p\u00e1gina HTML e selecionando com o mouse o elemento que quer raspar.<\/p>\r\n\r\n\r\n\r\n
Em seguida, ele ir\u00e1 abrir ou na esquerda ou na direita um painel destacando o elemento selecionado, alguma coisa parecida com a imagem a seguir:<\/p>\r\n\r\n\r\n\r\n\r\n\r\n
Ap\u00f3s selecionar o texto que quer raspar basta achar o elemento pela identifica\u00e7\u00e3o dele, seja id ou class, se for por id voc\u00ea pode encontr\u00e1-lo deste jeito: soup.find(id=”link3″), e na \u00faltima linha de c\u00f3digo estou mostrando na tela o texto cru deste elemento HTML, f\u00e1cil n\u00e9?<\/p>\r\n\r\n\r\n\r\n
Conseguiu fazer o seu web scraper?<\/h2>\r\n\r\n\r\n\r\n
Se quiser se aventurar e fazer mais web scraping python, de uma olhada na documenta\u00e7\u00e3o da biblioteca<\/strong> <\/a>que usamos no artigo.<\/p>\r\n\r\n\r\n\r\n