Rastreando um site inteiro
Alguns dados estão espalhados em centenas de páginas que nenhuma lista única liga — todo produto, todo artigo, todo anúncio. Peça “todas as páginas de produto da loja” e o plano ganha um passo de rastreamento: o programa segue os links do site, reconhece as páginas que têm os seus dados e lê cada uma com os mesmos campos.
- Pedir um rastreamento e reconhecer o passo dele no plano
- Ler os grupos de páginas e qual deles o scraper usa
- Saber quanto um rastreamento custa e quando ele para
- Continuar um rastreamento parado e inspecionar as requisições
Grupos de páginas
Durante a construção, um rastreamento curto de descoberta (até 300 páginas, nunca cobrado) olha o site e separa os endereços que encontra em grupos com o mesmo formato — /item/12, /item/13 e assim por diante. O verificador escolhe o grupo que tem o que você pediu, a construção lê uma página de amostra dele, e o programa escrito percorre todas as páginas desse grupo.
CRAWL_START = "https://shop.example.com/category/{{category}}"
TARGETS = ["/item/*"]
# … inside main():
with waiso.step("Read every product page", page, mark=ROW_SELECTOR):
for p in waiso.crawl(page, CRAWL_START, targets=TARGETS, inputs=inputs):
rows += waiso.extract(p.page, ROW_SELECTOR, FIELDS, LISTS)As páginas são baixadas com requisições simples sempre que o site permite, o que é muitas vezes mais rápido e mais barato do que abrir cada uma num navegador. Só o começo do percurso — uma busca para enviar, um filtro para escolher — precisa do navegador, e o rastreamento continua a partir da página alcançada.
Custo e limites
Uma execução com rastreamento é cobrada por página baixada, em blocos completos conforme enchem, com o último bloco arredondado para cima uma vez. Isso substitui a cobrança fixa de uma execução comum.
| O quê | Regra |
|---|---|
| Páginas simples | 1 crédito a cada 100 páginas |
| Páginas que precisam de navegador | 1 crédito a cada 10 páginas |
| Páginas por rastreamento | Free 1.000 · Pro 10.000 · Team 50.000 · Business 200.000 |
| Tempo | 30 minutos por rastreamento |
Por que um rastreamento parou
- Encontrou tudo o que o plano pediu. ou Percorreu o site inteiro: não há mais páginas novas. — terminou.
- Parou no limite de páginas do seu plano, Parou: um rastreamento dura no máximo 30 minutos. ou Parou: seus créditos acabaram. — Os resultados são parciais.
- Parou: o site recusou ou parou de responder. — tente mais tarde, ou por uma proxy.
Continue e inspecione
Um rastreamento que parou cedo pode retomar de onde parou: clique em Continuar no painel do rastreamento. A execução nova começa pelas páginas que ainda estavam esperando e pula as que já foram lidas.
O registro de rede
Toda requisição que um rastreamento fez fica guardada com status, tamanho, tempo e cabeçalhos, e o corpo de cada resposta. Busque pelo endereço, filtre pelo status (2xx, 3xx…) e abra as abas Geral, Requisição e Resposta de uma requisição. Um corpo abre nos primeiros 4 KB; Mostrar mais e Carregar tudo leem o resto.