Sinopse

Se a programação é mágica, o web scraping certamente é uma forma de magia. Ao escrever um programa automatizado simples, é possível consultar servidores web, requisitar dados e interpretá-los a fim de extrair as informações desejadas. A edição ampliada deste livro prático não só apresenta uma introdução ao web scraping, como também serve de guia completo para coletar quase todos os tipos de dados da web moderna. A Parte I do livro tem como foco o funcionamento do web scraping: como usar Python para requisitar informações de um servidor web, fazer o tratamento básico da resposta do servidor e interagir com os sites de modo automatizado. A Parte II explora uma variedade de ferramentas e aplicações mais específicas, apropriadas a qualquer cenário de web scraping com os quais é provável que você depare. Faça parse de páginas HTML complicadas. Desenvolva crawlers com o framework Scrapy. Aprenda a usar métodos para armazenar os dados coletados. Leia e extraia dados de documentos. Limpe e normalize dados mal formatados. Leia e escreva em idiomas naturais. Rastreie formulários e logins. Faça scraping de JavaScript e rastreie usando APIs. Use e escreva softwares de tradução de imagem para texto. Evite armadilhas para scraping e bloqueadores de bots. Use scrapers para testar seu site.

Detalhes do produto