Web scraping in Node.js con x-ray

In Node.js abbiamo diversi metodi/librerie per fare il web scraping.

In questo articolo vediamo come farlo x-ray.

Possiamo installarla con npm:

npm i x-ray

Qui sotto un esempio di codice:

const Xray = require('x-ray');
const x = Xray();
const url = 'https://www.mattepuffo.com/blog';

x(url, '.post-content', [
    {
        title: 'h1 a',
        link: 'a@href'
    }
]).write('results.json')

Il risultato verrà salvato nel file JSON nella directory corrente.

Volendo ci sono anche opzioni avanzate per seguire l'impaginazione (se dovesse esserci nel sito).

Enjoy!