Tensore (apprendimento automatico)

Nell'apprendimento automatico, il termine tensore si riferisce informalmente a due concetti diversi: (1) un modo di organizzare i dati e (2) una trasformazione (tensore) multilineare. I dati possono essere organizzati in un array multidimensionale (M-way array), informalmente denominato "tensore dati"; tuttavia, in senso matematico stretto, un tensore è una mappatura multilineare definita su un insieme di spazi vettoriali di dominio in uno spazio vettoriale di codominio. Osservazioni che rappresentano immagini, filmati, volumi, suoni e relazioni tra parole e concetti, memorizzate in un array M -way ("tensore dati"), possono essere analizzate tramite reti neurali artificiali o metodi tensoriali.

La decomposizione tensoriale fattorizza i tensori di dati in tensori più piccoli. Le operazioni sui tensori di dati possono essere espresse in termini di moltiplicazione di matrici e prodotto di Kronecker. Il calcolo dei gradienti, un aspetto cruciale dell'algoritmo di retropropagazione, può essere eseguito utilizzando librerie software quali PyTorch e TensorFlow.

I calcoli sono spesso eseguiti su unità di elaborazione grafica (GPU) tramite CUDA o su hardware dedicato come la Tensor Processing Unit di Google o il Tensor Core di Nvidia. Gli sviluppi in questo settore hanno reso notevolmente più efficienti le architetture delle reti neurali e consentito di aumentare dimensioni e complessità dei modelli che possono essere addestrati.

Definizione

Sia $\mathbb {F}$ un campo come quelli dei numeri reali $\mathbb {R}$ o dei numeri complessi $\mathbb {C}$. Un tensore ${\mathcal {T}}\in {\mathbb {F} }^{I_{0}\times I_{2}\times \ldots \times I_{C}}$ è una trasformazione multilineare da un insieme di spazi vettoriali (dominio) a uno spazio vettoriale (codominio):

${\mathcal {T}}:\{{\mathbb {F} }^{I_{1}}\times {\mathbb {F} }^{I_{2}}\times \ldots {\mathbb {F} }^{I_{C}}\}\mapsto {\mathbb {F} }^{I_{0}}$

Qui, $C$ e $I_{0},I_{1},\ldots ,I_{C}$ sono numeri interi positivi e $(C+1)$ è il numero di modi di un tensore (noto anche come numero di dimensioni di un array multidimensionale). La dimensionalità della modalità $c$ è $I_{c}$, per $0\leq c\leq C$.

In statistica e nell'apprendimento automatico, un'immagine viene vettorializzata se considerata come un'osservazione singola, per cui una raccolta di immagini vettorializzate può essere organizzata come un "tensore di dati". Ad esempio, un insieme di immagini di volti $\{{\mathbb {d} }_{i_{p},i_{e},i_{l},i_{v}}\in {\mathbb {R} }^{I_{X}}\}$ con $I_{X}$ pixel che derivano da più fattori causali, come una geometria dei volti $i_{p}\ (1\leq i_{p}\leq I_{P})$, un'espressione $i_{e}\ (1\leq i_{e}\leq I_{E})$, una condizione di illuminazione $i_{l}\ (1\leq i_{l}\leq I_{L})$ e una condizione di visualizzazione $i_{v}\ (1\leq i_{v}\leq I_{V})$ può essere strutturato come tensore di dati (ad esempio un array multidimensionale) ${\mathcal {D}}\in {\mathbb {R} }^{I_{X}\times I_{P}\times I_{E}\times I_{L}\times V}$ dove $I_{P}$ rappresenta il numero totale di geometrie, $I_{E}$ il numero totale di espressioni, $I_{L}$ il numero totale di condizioni di illuminazione e $I_{V}$ il numero totale di condizioni di visualizzazione. Metodi di fattorizzazione tensoriale come TensorFaces e l'analisi delle componenti indipendenti multilineari (tensoriali) fattorizzano il tensore dei dati in un insieme di spazi vettoriali che si estende a ricomprendere le diverse rappresentazioni dei fattori causali, dove un'immagine è il risultato della trasformazione tensoriale ${\mathcal {T}}$ che mappa un insieme di rappresentazioni di fattori causali nello spazio dei pixel.

Un altro approccio all'utilizzo dei tensori nell'apprendimento automatico consiste nell'incorporare direttamente vari tipi di dati. Ad esempio, un'immagine a livelli di grigio, viene comunemente rappresentata come array discreto a 2 dimensioni ${\mathcal {D}}\in {\mathbb {R} }^{I_{RX}\times I_{CX}}$ con dimensionalità $I_{RX}\times I_{CX}$ dove $I_{RX}$ rappresenta il numero di righe e $I_{CX}$ il numero di colonne. Quando un'immagine viene trattata come un array a 2 dimensioni ossia come tensore del 2° ordine (ovvero come una raccolta di osservazioni colonna/riga), i metodi di fattorizzazione tensoriale calcolano lo spazio colonnare dell'immagine, lo spazio riga dell'immagine e i coefficienti PCA normalizzati o i coefficienti ICA.

Analogamente, un'immagine a colori con canali RGB, ${\mathcal {D}}\in \mathbb {R} ^{N\times M\times 3}.$ può essere considerata come un tensore di dati di terzo ordine o un array a 3 dimensioni.

Nell'elaborazione del linguaggio naturale, una parola può essere espressa come vettore $v$ tramite algoritmi quali Word2vec. Quindi $v$ diventa un tensore di modalità 1

$v\mapsto {\mathcal {A}}\in \mathbb {R} ^{N}.$

L'embedding della semantica dell'espressione soggetto-oggetto-verbo richiede di incorporare relazioni fra tre parole. Poiché una parola è essa stessa un vettore, la semantica di soggetto-oggetto-verbo potrebbe essere espressa utilizzando tensori di ordine 3.

$v_{a}\times v_{b}\times v_{c}\mapsto {\mathcal {A}}\in \mathbb {R} ^{N\times N\times N}.$

In pratica, il progettista di una rete neurale si occupa principalmente della specifica degli embedding, della connessione degli strati tensoriali e delle operazioni eseguite su di essi in una rete. I framework di apprendimento automatico moderni sono in grado di gestire automaticamente l'ottimizzazione, la fattorizzazione tensoriale e la retropropagazione.

Come valori di unità neurali

Rete neurale con tensori come valori dei nodi

I tensori possono essere utilizzati come valori delle unità delle reti neurali, estendendo le nozioni di valori scalari, vettoriali e matriciali al caso di più dimensioni.

Il valore di output dell'unità a strato singolo $y_{m}$ è la combinazione lineare delle sue unità di input con i pesi di connessione filtrato attraverso la funzione di attivazione $f$:

$y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right),$

dove

$y_{m}\in \mathbb {R} .$

Rete neurale convoluzionale con ciascuna unità è un'immagine 2D rappresentata da un tensore

Se ciascun elemento di output di $y_{m}$ è uno scalare, allora si ha la definizione classica di una rete neurale artificiale. Sostituendo ogni componente unitaria con un tensore, la rete è in grado di rappresentare dati di dimensione superiore come immagini o video:

$y_{m}\in \mathbb {R} ^{I_{0}\times I_{1}\times ..\times I_{C}}.$

L'utilizzo di tensori per sostituire i valori delle unità è comune nelle reti neurali convoluzionali, dove ogni unità può essere un'immagine elaborata attraverso più strati. Incorporando i dati nei tensori, tali strutture di rete consentono l'apprendimento di tipi di dati complessi.

In strati completamente connessi

Due strati di una rete neurale completamente connessa e la sua espressione come prodotto tensoriale di Kronecker

I tensori possono essere usati anche per calcolare gli strati di una rete neurale completamente connessa nella quale il tensore viene applicato all'intero strato anziché ai singoli valori delle unità.

Il valore di output dell'unità $y_{m}$ a strato singolo è la combinazione lineare delle sue unità di input e dei pesi di connessione filtrata attraverso la funzione di attivazione $f$:

$y_{m}=f\left(\sum _{n}x_{n}u_{m,n}\right).$

I vettori $x$ e $y$ dei valori di output possono essere espressi come tensori di ordine 1, mentre i pesi nascosti possono essere espressi come tensori di ordine 2. Nell'esempio che segue, i valori unitari sono scalari, mentre il tensore assume le dimensioni degli strati della rete:

$x_{n}\mapsto {\mathcal {X}}\in \mathbb {R} ^{1\times N},$

$y_{n}\mapsto {\mathcal {Y}}\in \mathbb {R} ^{M\times 1},$

$u_{n}\mapsto {\mathcal {U}}\in \mathbb {R} ^{N\times M}.$

In tale notazione, i valori di output possono essere calcolati come prodotto tensoriale dei tensori relativi all'input e al peso:

${\mathcal {Y}}=f({\mathcal {X}}{\mathcal {U}})$

che calcola la combinazione lineare come moltiplicazione tensoriale (simile alla moltiplicazione di matrici).

Tale formulazione in termini di tensori consente di calcolare in modo efficiente l'intero strato di una rete completamente connessa trasformando unità e pesi in tensori.

Negli strati convoluzionali

Una diversa riformulazione delle reti neurali consente ai tensori di esprimere i livelli di convoluzione di una rete neurale. Un livello convoluzionale ha più input, ognuno dei quali è una data struttura spaziale, come ad esempio un'immagine o un volume. Si effettua la covoluzione dell'input tramite filtraggio preventivo, prima del passaggio allo strato successivo. Un suo utilizzo tipico è il rilevamento o l'isolamento di caratteristiche nel riconoscimento delle immagini.

La convoluzione viene spesso calcolata come la moltiplicazione di un segnale di ingresso $g$ con un kernel di filtro $f$. Nel caso di due dimensioni, la forma discreta e finita è la seguente:

$(f*g)_{x,y}=\sum _{j=-w}^{w}\sum _{k=-w}^{w}f_{j,k}g_{x+j,y+k},$

dove $w$ è l'ampiezza del kernel.

Questa definizione può essere riformulata come prodotto matrice-vettore in termini di tensori che esprimono il kernel, i dati e la trasformata inversa del kernel.

${\mathcal {Y}}={\mathcal {A}}[(Cg)\odot (Bd)],$

dove ${\mathcal {A}},{\mathcal {B}}$ e ${\mathcal {C}}$ rappresentano la trasformata inversa, i dati e il kernel. La derivazione è più complessa quando il kernel di filtraggio include anche una funzione di attivazione non lineare come la sigmoide o la ReLU.

I pesi nascosti del livello di convoluzione sono i parametri del filtro. Questi possono essere diminuiti con uno strato di pooling che riduce la risoluzione (dimensione) dei dati e possono anche essere espressi come operazione tensoriale.

Fattorizzazione tensoriale

Un importante contributo dei tensori all'apprendimento automatico è la capacità di fattorizzare i tensori per scomporre i dati in fattori costituenti o ridurre i parametri appresi. Le tecniche di modellazione dei tensori derivano dalle decomposizioni tensoriali lineari (decomposizione CANDECOMP/Parafac) e multilineari (Tucker).

Decomposizione di Tucker

Decomposizione di Tucker di un tensore

La decomposizione di Tucker, considerando, a titolo d'esempio, un array a 3 dimensioni ${\mathcal {X}}\in \mathbb {R} ^{I\times J\times K}$, scompone il tensore in tre matrici ${\mathcal {A,B,C}}$ e in un tensore più piccolo ${\mathcal {G}}$. La forma delle matrici e del nuovo tensore è tale che il numero totale di elementi risulta ridotto. I nuovi tensori hanno le forme seguenti

${\mathcal {A}}\in \mathbb {R} ^{I\times P},$

${\mathcal {B}}\in \mathbb {R} ^{J\times Q},$

${\mathcal {C}}\in \mathbb {R} ^{K\times R},$

${\mathcal {G}}\in \mathbb {R} ^{P\times Q\times R}.$

Quindi il tensore originale può essere espresso come prodotto tensoriale di questi quattro tensori:

${\mathcal {X}}={\mathcal {G}}\times {\mathcal {A}}\times {\mathcal {B}}\times {\mathcal {C}}.$

Nell'esempio mostrato in figura, le dimensioni dei tensori sono

${\mathcal {X}}$: I=8, J=6, K=3,

${\mathcal {A}}$: I=8, P=5,

${\mathcal {B}}$: J=6, Q=4,

${\mathcal {C}}$: K=3, R=2,

${\mathcal {G}}$: P=5, Q=4, R=2.

Il numero totale di elementi nella fattorizzazione di Tucker è

$|{\mathcal {A}}|+|{\mathcal {B}}|+|{\mathcal {C}}|+|{\mathcal {G}}|=$

$(I\times P)+(J\times Q)+(K\times R)+(P\times Q\times R)=8\times 5+6\times 4+3\times 2+5\times 4\times 2=110.$

Il numero di elementi nel tenore ${\mathcal {X}}$ originario è 144, con conseguente riduzione dei dati da 144 a 110 elementi, ossia una riduzione del 23% nel numero dei parametri o delle dimensioni dei dati. Per tensori iniziali ancor più grandi, anche in base al rango (ridondanza) del tensore, i guadagni possono essere più significativi.

Il lavoro di Rabanser et al. fornisce un'introduzione ai tensori con maggiori dettagli sull'estensione della decomposizione di Tucker a N-dimensioni, andando quindi oltre l'esempio sopra mostrato.

Treni di tensori

Un'altra tecnica per decomporre i tensori riscrive il tensore iniziale come una sequenza (treno) di tensori di dimensioni inferiori. Un treno di tensori (TT) è una sequenza di tensori di rango ridotto, chiamati fattori canonici. Il tensore originale può essere espresso come combinazione lineare della sequenza.

${\mathcal {X}}={\mathcal {G_{1}}}{\mathcal {G_{2}}}{\mathcal {G_{3}}}..{\mathcal {G_{d}}}$

La tecnica è stata sviluppata nel 2011 da Ivan Oseledts: l'autore osserva che la decomposizione di Tucker è "adatta per piccole dimensioni, specialmente per il caso tridimensionale. Per d grandi essa non è altrettanto utile." Pertanto i treni di tensori possono essere utilizzati per fattorizzare tensori più grandi in dimensioni maggiori.

Grafi tensoriali

L'architettura dati unificata e la differenziazione automatica dei tensori hanno consentito la progettazione di modelli di apprendimento automatico di livello superiore sotto forma di grafi tensoriali. Ciò ha portato a nuove architetture, come le reti convoluzionali tensore-grafo (TGCN), capaci di identificare associazioni altamente non lineari nei dati, di combinare più relazioni e scalare gradualmente, pur rimanendo robuste e performanti.

Questi sviluppi stanno avendo un impatto su tutti i task di apprendimento automatico, come il text mining e il clustering, l'uso di dati variabili nel tempo e le reti neurali, casi nei quali i dati di input rappresentano grafi sociali e i dati cambiano dinamicamente.