* Conoscenza del computer >> sistemi >  >> Windows 2016

Database verticale (column-oriented): architettura, vantaggi e casi d'uso

Un database verticale (o column-oriented) memorizza i dati colonna per colonna invece che riga per riga. Le strutture dati sono alberi predicati (P-tree), vettori di bit o array per attributo, elaborati orizzontalmente tramite operatori logici veloci (AND, OR, XOR, NOT).

Differenza chiave

Database orizzontale (row-store)Database verticale (column-store)
Record completi contigui su discoSingoli attributi contigui su disco
Ottimo per OLTP (transazioni)Ottimo per OLAP / Data Mining
Legge intere righe anche per 1 colonnaLegge solo le colonne necessarie alla query

Vantaggi per Data Mining e Big Data

  • I/O ridotto: una query su 3 colonne su 100 legge solo 3 file, non 100.
  • Compressione elevata: dati omogenei per colonna (es. solo date, solo interi) si comprimono meglio (RLE, dictionary encoding).
  • Operatori bitwise: filtri, join, aggregazioni su vettori di bit sono ordini di grandezza più veloci.
  • Pagine grandi: una singola lettura disco recupera migliaia di valori rilevanti.

Applicazioni scientifiche

In ambito scientifico (genomica, astronomia, clima, geospaziale) le query sono complesse, ad-hoc, su dimensioni naturali dei dati (es. coordinate 3D, serie temporali). I P-tree multidimensionali mappano nativamente queste dimensioni. Meno utenti concorrenti, ma query più pesanti: i column-store brillano qui.

Esempi reali

  • Apache Parquet / ORC (formati colonna per Hadoop/Spark)
  • ClickHouse, Apache Druid, Vertica, Snowflake, Redshift, BigQuery (DB analitici columnar)
  • MonetDB, Vectorwise (pionieri accademici/commerciali)

Windows 2016