Actualitzat:
El web scraping és l'extracció automatitzada d'informació de pàgines web: preus, fitxes de producte, anuncis, empreses, ressenyes, notícies. Serveix per saber què fa la competència, alimentar un catàleg, detectar oportunitats comercials o tenir dades de mercat que no són a cap informe.
Fins fa poc, cada scraper era un conjunt de regles fràgils: si la web canviava un botó de lloc, el procés es trencava. Avui els models d'IA entenen el contingut d'una pàgina com ho faria una persona, i això permet extreure dades de webs desordenades, classificar-les i adaptar-se als canvis sense començar de zero.
Navegadors automatitzats amb Playwright per a webs amb JavaScript, inici de sessió o scroll infinit, i peticions directes quan la web ho permet, que és més ràpid i barat.
De deu pàgines a milions, amb cues, reintents i ritmes que no saturen la web d'origen.
Models de llenguatge amb sortides estructurades per llegir fitxes desordenades, PDFs o text lliure i convertir-los en camps nets: marca, model, preu, talla, ubicació, categoria.
També per classificar, traduir, resumir i aparellar el mateix producte entre botigues diferents.
Base de dades (PostgreSQL, BigQuery), Google Sheets, CSV o Excel programats, una API pròpia o integració directa amb el teu CRM, el teu ERP o la teva botiga online.
Amb avisos automàtics quan passa alguna cosa rellevant: una baixada de preu, un anunci nou, un competidor nou.
Les webs canvien i els scrapers es trenquen: és inevitable. Vigilem cada procés, validem les dades a cada execució i ho reparem abans que ho notis.
Si el volum de dades cau o apareixen valors estranys, ens salta una alerta a nosaltres, no a tu.
Avui qualsevol pot demanar a un agent d'IA que llegeixi una web. Funciona per a una consulta puntual, però no per a un negoci que depèn d'aquestes dades cada dia. La nostra diferència és fer servir la IA on aporta i l'enginyeria on cal.
| Un agent d'IA genèric | Sitelabs | |
|---|---|---|
| Cost | Paga tokens per cada pàgina, també pel que es podria llegir amb una regla simple. | IA només als passos que la necessiten. La resta, codi. Molt més barat a gran volum. |
| Fiabilitat | Respostes que varien entre execucions i dades inventades quan no troba alguna cosa. | Esquemes validats, comprovacions a cada execució i no s'inventa res: si una dada no hi és, queda buida. |
| Volum | Lent, pàgina a pàgina. | Milers de pàgines per hora amb cues, paral·lelisme i reintents. |
| Canvis a la web | Es trenca sense avisar. | Monitoratge i reparació inclosos al servei. |
| Dades | Un text o una taula solta. | Base de dades històrica, integrada amb les teves eines i amb alertes. |
| Legalitat | Sense criteri. | Anàlisi prèvia de quines dades es poden extreure i com, d'acord amb el RGPD. |
Durant anys vam treballar amb Puppeteer, la llibreria de Google per controlar Chrome des de Node.js. Va ser l'eina que va fer possible scrapejar webs modernes fetes amb JavaScript.
Avui l'estàndard és Playwright: controla Chromium, Firefox i WebKit amb la mateixa API, funciona en Python i en Node.js, espera automàticament que la pàgina estigui a punt i gestiona diverses sessions en paral·lel. És més estable, més ràpid de desenvolupar i més fàcil de mantenir, i és el que fem servir als projectes nous.
Sobre aquesta base hi afegim IA: models que llegeixen la pàgina renderitzada, decideixen on és cada dada i la retornen ja estructurada.
Revisem les webs d'origen, les dades que necessites i la freqüència. Et diem què és viable tècnicament i legalment.
Et lliurem una mostra real de les dades amb el format final perquè validis que és el que esperaves.
Posem en marxa el procés complet: extracció, IA, validació i lliurament a les teves eines.
Vigilem cada execució, reparem el que es trenca i ampliem fonts quan ho necessitis.
Extreure informació pública d'una web és legal en la majoria de casos, però hi ha límits: les dades personals estan protegides pel RGPD, alguns continguts tenen drets d'autor o de base de dades, i cal respectar el funcionament de la web d'origen.
Per això cada projecte comença amb una anàlisi de què es pot extreure i per a què. Treballem a un ritme que no afecta la web d'origen i no extraiem dades personals sense una base legal clara. Si alguna cosa no es pot fer bé, t'ho diem.
Webapps, APIs i panells per explotar les dades que extraiem.
Directori de negocis creat a partir de dades públiques de Google extretes amb scraping.
El nostre servei de manteniment amb anàlisi de seguretat diària amb IA.
Depèn del nombre de webs, de la seva complexitat, del volum de dades i de la freqüència d'actualització. Després de l'anàlisi inicial et donem un pressupost tancat per al desenvolupament i una quota mensual per a l'execució i el manteniment.
Sí, sempre que tinguis accés legítim a aquest compte i les condicions d'ús ho permetin. Playwright manté la sessió igual que un navegador normal.
És el més habitual. Cada execució es valida automàticament: si falten dades o canvien els formats, rebem una alerta i ho reparem. Amb IA, molts canvis de disseny ni tan sols trenquen el procés.
La que necessitis: una vegada, cada mes, cada dia o cada pocs minuts per a preus o estoc. Ajustem la freqüència al valor de la dada i al respecte per la web d'origen.
Fem servir models d'IA (Gemini, Claude o GPT, segons el cas) només als passos on aporten: entendre textos desordenats, classificar o aparellar productes. La navegació i l'extracció repetitiva es fan amb codi, que és més ràpid, més barat i més fiable.
En el que et sigui útil: Google Sheets, Excel o CSV, una base de dades, una API o directament integrades a la teva botiga online, el teu CRM o el teu ERP.
Explica'ns quines webs t'interessen i què vols fer amb les dades. Et direm si és viable i com ho faríem.