Ir al contenido
Iniciar sesión Registrarse

Avanzado

Pasa las cabeceras como un objeto JSON codificado en URL mediante custom_headers:

Ventana de terminal
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com&custom_headers=%7B%22Authorization%22%3A%22Bearer%20abc123%22%7D"

Útil cuando el destino espera tokens bearer, X-Requested-With: XMLHttpRequest, o preferencias de idioma.

Configura cookies en línea mediante custom_cookies:

cookie_name=value; other_name=value2

Codificado en URL:

Ventana de terminal
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&custom_cookies=session_id%3Dabc%3B%20locale%3Den-US"

Para cookies a lo largo de varias solicitudes, prefiere session_id, las cookies establecidas por el servidor persistirán automáticamente.

Cambia el método con method. Pasa el cuerpo como el cuerpo de la solicitud.

Ventana de terminal
curl -X POST \
"https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com/users&method=POST" \
-H "Content-Type: application/json" \
-d '{"email":"user@example.com","plan":"pro"}'

PUT es idéntico con method=PUT.

Devuelve un PNG de página completa en lugar de HTML:

Ventana de terminal
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&screenshot=1" \
-o screenshot.png

Opciones:

  • screenshot_full_page=1, captura más allá del viewport.
  • screenshot_selector=<css>, captura solo un elemento.

Para PDFs, imágenes o cualquier respuesta que no sea texto, añade binary_response=1. El scraper transmite la carga binaria a través de:

Ventana de terminal
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/file.pdf&binary_response=1" \
-o file.pdf

Algunos destinos detectan la huella digital del navegador predeterminada. Puedes desactivar el modo sigiloso para depuración (no recomendado en producción):

Ventana de terminal
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&disable_stealth=1&render_js=1"

Todos los indicadores se pueden combinar. Una solicitud real tiene este aspecto:

Ventana de terminal
curl "https://scrape.shifter.io/v1?\
api_key=YOUR_API_KEY&\
url=https://shop.example.com/products/42&\
render_js=1&\
wait_for_css=.price&\
session_id=cart-001&\
premium_proxy=1&\
country=us&\
extract_rules=%7B%22price%22%3A%7B%22selector%22%3A%22.price%22%2C%22output%22%3A%22text%22%7D%7D"

Una solicitud correcta, un crédito.