ISTAT parser walkthrough#

This notebook is the practical guide for parsing official ISTAT input-output releases in MARIO.

What this notebook covers#

  • where the official ISTAT releases come from;

  • when to pass one workbook, one extracted release directory, or one zip archive;

  • how IOT and SUT workflows differ;

  • how iot_mode=, level=, price=, and valuation= are used;

  • how download=True works with the official ISTAT release pages;

  • which caveats matter for this parser.

Relevant source page#

This parser targets the official ISTAT release bundles, not arbitrary spreadsheets with a similar shape.

Main entry point#

For normal user workflows, the public entry point is:

  • mario.parse_istat(...)

The same function supports:

  • IOT parsing;

  • SUT parsing;

  • local parsing from one workbook, one extracted release directory, or one release zip;

  • automatic download of the official release through download=True.

Key arguments#

The key public arguments are:

  • path: local workbook, extracted release directory, release zip, or cache directory;

  • year: reference year to select from the ISTAT release;

  • table: choose "IOT" or "SUT";

  • iot_mode: for IOT, either "product" or "industry";

  • level: for SUT, either "63" or "20";

  • price: for SUT, either "current" or "pyp";

  • valuation: for SUT, either "basic" or "purchaser";

  • download: when True, MARIO downloads the official release before parsing it;

  • edition and page_url: downloader selectors for the official ISTAT release page.

IOT versus SUT#

Use table="IOT" when you want the symmetric representation with Z, Y, and V.

Use table="SUT" when you want the native split structure with S, U, Yc, Ya, Va, and Vc.

For IOT, the key selector is iot_mode=. For SUT, the key selectors are level=, price=, and valuation=.

Workbook, extracted directory, or zip archive#

For IOT, passing the workbook directly is often the simplest workflow.

For SUT, passing the extracted release directory or the release zip is usually more convenient, because MARIO resolves the required workbook triplet from the official file names.

Download workflow#

If you already have the official release locally, point the parser to the workbook, directory, or zip file.

If you want MARIO to fetch the official release first, use download=True together with a cache directory in path.

Expected local release layout#

Typical local structure:

ISTAT/
├── input_output_2015_2020.zip
├── input_output_2020_2022.zip
└── extracted_release/
    ├── *.xlsx
    └── *.xls

For local parsing, the workbook names and sheets must come from the official ISTAT release. For download=True, path is the cache directory where MARIO stores the downloaded archive and extracted files. The direct helper is mario.download_istat_io(...).

[1]:

import mario

Parse one local IOT workbook#

This is the simplest IOT workflow. If you haven’t downloaded it, you can indicate a folder path and download=True

[2]:

db = mario.parse_istat(
    path="/path/to/IOT",
    year=2022,
    table="IOT",
    iot_mode="product",
    download=True,
    edition="latest",
)

INFO Parser: reading ISTAT workbook SIMM_TOT_63PxP.xlsx sheet STOTPP_2022.
INFO Parser: ISTAT IOT payload ready with shapes Z=(63, 63), Y=(63, 7), V=(10, 63).
INFO Metadata: initialized.

Parse one SUT release#

The SUT workflow needs the structural selectors explicitly.

[3]:

db = mario.parse_istat(
    path="/path/to/SUT",
    year=2022,
    table="SUT",
    level="63",
    price="current",
    valuation="basic",
    download=True,
    edition="latest",
)

db

INFO Parser: reading ISTAT workbook SUPPLY_63B.xlsx sheet sup22.
INFO Parser: reading ISTAT workbook USEPB_63B.xlsx sheet uspb22.
INFO Parser: reading ISTAT workbook IMPORT_63B.xlsx sheet imprt22.
INFO Parser: ISTAT SUT payload ready with shapes S=(63, 63), U=(63, 63), Yc=(63, 7), Va=(12, 63), Vc=(13, 63).
INFO Metadata: initialized.

[3]:

name = ISTAT SUT 2022 63 current basic
table = SUT
tech_assumption = industry-based
scenarios = ['baseline']
Activity = 63
Commodity = 63
Factor of production = 13
Satellite account = 1
Consumption category = 7
Region = 1

First inspection#

Once the release is parsed, the normal MARIO inspection helpers work exactly as for the other parsers.

[4]:

db.table_type

[4]:

'SUT'

[5]:

db.activities

[5]:

['Produzioni vegetali e animali, caccia e servizi connessi',
 'Silvicoltura e utilizzo di aree forestali',
 'Pesca e acquicoltura',
 'Attività estrattiva',
 'Industrie alimentari, delle bevande e del tabacco',
 'Industrie tessili, confezione di articoli di abbigliamento e di articoli in pelle e simili',
 'Industria del legno e dei prodotti in legno e sughero, esclusi i mobili; fabbricazione di articoli in paglia e materiali da intreccio',
 'Fabbricazione di carta e di prodotti di carta',
 'Stampa e riproduzione su supporti registrati',
 'Fabbricazione di coke e prodotti derivanti dalla raffinazione del petrolio',
 'Fabbricazione di prodotti chimici',
 'Fabbricazione di prodotti farmaceutici di base e di preparati farmaceutici',
 'Fabbricazione di articoli in gomma e materie plastiche',
 'Fabbricazione di altri prodotti della lavorazione di minerali non metalliferi',
 'Attività metallurgiche',
 'Fabbricazione di prodotti in metallo, esclusi macchinari e attrezzature',
 'Fabbricazione di computer e prodotti di elettronica e ottica',
 'Fabbricazione di apparecchiature elettriche',
 'Fabbricazione di macchinari e apparecchiature n.c.a.',
 'Fabbricazione di autoveicoli, rimorchi e semirimorchi',
 'Fabbricazione di altri mezzi di trasporto',
 'Fabbricazione di mobili; altre industrie manifatturiere',
 'Riparazione e installazione di macchine e apparecchiature',
 'Fornitura di energia elettrica, gas, vapore e aria condizionata',
 'Raccolta, trattamento e fornitura di acqua',
 'Gestione delle reti fognarie; attività di raccolta, trattamento e smaltimento dei rifiuti; recupero dei materiali; attività di risanamento e altri servizi di gestione dei rifiuti',
 'Costruzioni',
 'Commercio all’ingrosso e al dettaglio e riparazione di autoveicoli e motocicli',
 'Commercio all’ingrosso, escluso quello di autoveicoli e di motocicli',
 'Commercio al dettaglio, escluso quello di autoveicoli e di motocicli',
 'Trasporto terrestre e trasporto mediante condotte',
 'Trasporti marittimi e per vie d’acqua',
 'Trasporto aereo',
 'Magazzinaggio e attività di supporto ai trasporti',
 'Servizi postali e attività di corriere',
 'Servizi di alloggio; attività di servizi di ristorazione',
 'Attività editoriali',
 'Attività di produzione cinematografica, di video e di programmi televisivi, di registrazioni musicali e sonore; attività di programmazione e trasmissione',
 'Telecomunicazioni',
 'Programmazione, consulenza informatica e attività connesse; attività dei servizi d’informazione',
 'Prestazione di servizi finanziari (ad esclusione di assicurazioni e fondi pensione)',
 'Assicurazioni, riassicurazioni e fondi pensione, escluse le assicurazioni sociali obbligatorie',
 'Attività ausiliarie dei servizi finanziari e delle attività assicurative',
 'Attività immobiliari',
 'Attività legali e contabilità; attività di sedi centrali; consulenza gestionale',
 'Attività degli studi di architettura e d’ingegneria; collaudi e analisi tecniche',
 'Ricerca scientifica e sviluppo',
 'Pubblicità e ricerche di mercato',
 'Altre attività professionali, scientifiche e tecniche; servizi veterinari',
 'Attività di noleggio e leasing',
 'Attività di ricerca, selezione, fornitura di personale',
 'Attività dei servizi delle agenzie di viaggio, dei tour operator e servizi di prenotazione e attività correlate',
 'Servizi di investigazione e vigilanza; attività di servizi per edifici e per paesaggio; attività amministrative e di supporto per le funzioni d’ufficio e altri servizi di supporto alle imprese',
 'Amministrazione pubblica e difesa; assicurazione sociale obbligatoria',
 'Istruzione',
 'Attività dei servizi sanitari',
 'Assistenza sociale',
 'Attività creative, artistiche e d’intrattenimento; attività di biblioteche, archivi, musei e altre attività culturali; attività riguardanti scommesse e case da gioco',
 'Attività sportive, di intrattenimento e di divertimento',
 'Attività di organizzazioni associative',
 'Riparazione di computer e di beni per uso personale e per la casa',
 'Altre attività di servizi personali',
 'Attività di famiglie e convivenze come datori di lavoro per personale domestico; produzione di beni e di servizi indifferenziati per uso proprio da parte di famiglie e convivenze']

[6]:

db.units

[6]:

{'Activity':                                                                unit
Produzioni vegetali e animali, caccia e servizi...  Milioni di euro
Silvicoltura e utilizzo di aree forestali           Milioni di euro
Pesca e acquicoltura                                Milioni di euro
Attività estrattiva                                 Milioni di euro
Industrie alimentari, delle bevande e del tabacco   Milioni di euro
...                                                             ...
Attività sportive, di intrattenimento e di dive...  Milioni di euro
Attività di organizzazioni associative              Milioni di euro
Riparazione di computer e di beni per uso perso...  Milioni di euro
Altre attività di servizi personali                 Milioni di euro
Attività di famiglie e convivenze come datori d...  Milioni di euro

[63 rows x 1 columns], 'Commodity':                                                                unit
Prodotti dell’agricoltura e della caccia e rela...  Milioni di euro
Prodotti della silvicoltura, delle operazioni d...  Milioni di euro
Pesci ed altri prodotti della pesca; prodotti d...  Milioni di euro
Prodotti delle miniere e delle cave                 Milioni di euro
Prodotti alimentari, bevande e prodotti a base ...  Milioni di euro
...                                                             ...
Servizi sportivi e di intrattenimento e diverti...  Milioni di euro
Servizi forniti da organizzazioni associative       Milioni di euro
Servizi di riparazione di elaboratori elettroni...  Milioni di euro
Altri servizi personali                             Milioni di euro
Servizi di datore di lavoro svolti da famiglie ...  Milioni di euro

[63 rows x 1 columns], 'Factor of production':                                                       unit
Importazioni cif                           Milioni di euro
Tasse meno contributi ai prodotti          Milioni di euro
Cif/fob aggiustamenti sulle esportazioni   Milioni di euro
Acquisti all'estero dei residenti          Milioni di euro
Acquisti sul territorio dei non residenti  Milioni di euro
Redditi da lavoro dipendente               Milioni di euro
Retribuzioni lorde                         Milioni di euro
Altre imposte nette sulla produzione       Milioni di euro
Ammortamenti                               Milioni di euro
Risultato netto di gestione                Milioni di euro
Risultato lordo di gestione                Milioni di euro
Reddito misto lordo                        Milioni di euro
Valore aggiunto ai prezzi base             Milioni di euro, 'Satellite account':       unit
Item
-     None}

Caveats#

  • the parser expects the official ISTAT workbook and release naming conventions;

  • SUT parsing has more structural selectors than IOT, so explicit arguments are usually the better choice;

  • download=True is optional, but it is often the cleanest workflow when you want a stable local archive of the release.

Download this notebook