2.6 Single Node Entropy S i
3.2.7 σ-model S T S
Il modello visto nella sezione 3.2.4 è stato utilizzato anche per caratterizzare la misura di Teschendorff-Severini. La situazione zero è la stessa vista nei modelli precedenti, ossia tutti i nodi ∈ G0, mentre la situazione spaziale variata prevede che metà dei nodi siano
distribuiti secondo una distribuzione gaussiana con la deviazione standard sensibilmente aumentata, ossia Gσ = G(µ0, 100 · σ0).
L’andamento della misura e i valori statistici del caso sono riportati in figura 3.25 e 3.26 e in tabella 3.4
considerazioni Dal comportamento mostrato in figura 3.25 e 3.26 è evidente una separazione netta tra le distribuzioni delle entropie di singolo nodo relative ad un sotto- gruppo rispetto ad un altro. In particolare si nota che il secondo sotto-gruppo, governato dalla distribuzione Gσ ha un comportamento molto simile alla situazione a riposo, anche
in termini di media e deviazione standard, mentre il primo sottogruppo, governato da G0, presenta un valore medio sensibilmente inferiore rispetto alla situazione a riposo.
Figura 3.25: Valori di ST Snella situazione spaziale variata σ-model con σvar = 100·σ0e
µ0= 1, in funzione della connettività k. In rosso i nodi a riposo, in giallo quelli governati
dalla distribuzione variata Gσ
Figura 3.26: Valori di ST S nella situazione spaziale variata σ-model con σvar = 100×σ0
Questo comportamento è spiegabile ancora una volta in termini informazionali. Nel procedimento di passaggio dai valori di distanza relativa Cij alle pij, infatti, la distri- buzione delle Cij viene normalizzata sulla somma totale in modo da sommare a uno.
In questo modo si appianano, di fatto, due distribuzioni di uguale forma ma con va- lori diversi, come G0 e Gσ: entrambe gaussiane centrate sullo stesso valore, ma con una deviazione standard molto diversa che risulta tuttavia riscalata al momento della normalizzazione.
Al contrario, i nodi che appartengono alla distribuzione G0 nel contesto spaziale variato, ossia in presenza di metà nodi governati da Gσ, rappresentano un elemento di
ordine nella distribuzione totale, avendo di fatto metà delle pij risultanti dai collega- menti interni alla distribuzione G0, e quindi molto piccoli e molto vicini tra loro rispetto
ai valori delle distanze tra loro e gli altri nodi, ampiamente distribuiti, appartenenti alla gaussiana Gσ.
L’entropia di Shannon della relativa distribuzione delle pij, composta quindi da
metà valori molto piccoli e simili tra loro e metà valori distribuiti gaussianamente, sarà sensibilmente più bassa di quella di una distribuzione semplicemente gaussiana, caso della distribuzione nella 0 − situation.
Questo caso è molto simile a quello visto nella sezione 3.2.6 come organizzazione delle pij a entropia inferiore.
Capitolo 4
Conclusioni
In questo lavoro è stata introdotta e caratterizzata una misura di entropia per un sin- golo nodo, Si, nella prospettiva di distinguere, all’interno di un network, nodi aventi differenti caratteristiche. Nello stesso contesto è stato studiato il comportamento di una seconda misura di entropia di singolo nodo proveniente dalla letteratura, qui chiamata ST S , ai fini di ottenere un confronto critico tra le due in termini di performance nel distinguere i nodi appartenenti a due sottogruppi diversi e di comportamento al variare delle caratteristiche proprie di questi sottogruppi.
caratterizzazione analitica È stata fatta una prima caratterizzazione analitica del- la distribuzione delle entropie di singolo nodo, secondo la misura qui definita, all’interno dell’ensemble configurazionale. Si è quindi misurata l’andamento della media delle en- tropie di singolo nodo in funzione della connettività media, ottenendo una funzione costante per valori non piccoli.
Si è ottenuto che, attraverso alcune approssimazioni, è possibile ottenere un’espres- sione analitica dell’entropia di singolo nodo in funzione della connettività del nodo in questione, normalizzata, come Si ∝ ki0log k0i. È stato possibile giustificare successiva-
mente, con l’approssimazione di campo medio, l’indipendenza della media di queste entropie dalla connettività media del network, ottenendo una forma per questa misura come hSii ' 1 − 1
N log N , espressione che si è vista rappresentare inoltre una buona
previsione per i valori misurati.
Il confronto tra le due misure è stato effettuato nel contesto dello spatial ensemble, ossia dove i nodi del network sono posizionati su una struttura geometrica e si utilizza, nel calcolo della matrice di probabilità pij, la matrice delle distanze reciproche tra i nodi.
comportamento entropico Si è voluto inizialmente fare un’analisi del comporta- mento delle misure al variare della randomness della matrice di distanze utilizzata nel calcolo della matrice di probabilità dell’ensemble di appartenenza del network. Secondo l’interpretazione classica dell’entropia come disordine della distribuzione, questa dovreb-
be essere una funzione crescente della randomness, in quanto la distribuzione random rappresenta il massimo disordine possibile.
Nel caso della misura qui definita, la matrice di distanza non è utilizzata direttamen- te nel calcolo dell’entropia di singolo nodo, ma solo come vincolo nella massimizzazione dell’entropia, la quale risulta nella distribuzione di probabilità pij. Questo fa sì che il comportamento entropico non sia direttamente correlato alla randomness della matri- ce delle distanze, e il risultato osservato conferma un’invarianza dell’entropia rispetto questo parametro.
Per la misura ST S, si è ottenuto invece un comportamento inverso. Questo è giu- stificabile dal fatto che la definizione di Teschendorff-Severini utilizza la matrice delle distanze direttamente nel calcolo dell’entropia, considerando quindi le singole distanze come probabilità pij, dopo opportune normalizzazioni. Con questo metodo il massimo
ordine, distanze tutte uguali, corrisponde alla distribuzione ad entropia massima, in quanto si ha la distribuzione delle probabilità sulla quale si possono fare meno assunzio- ni, ossia quella in cui tutte le probabilità degli eventi in questione sono uguali, analoga al caso del lancio di una moneta non truccata o di un dado.
toy models Si sono quindi implementati dei modelli in cui la seconda metà dei nodi nel network in questione viene posta in una situazione spaziale variata, al fine di ottenere una fitness per le due misure in termini di capacità di distinguere l’appartenenza dei singoli nodi ai due sotto-gruppi.
Al fine di ottenere una migliore separazione dei gruppi, nel caso della misura Si
qui introdotta, si è voluta eliminare la dipendenza delle entropie dalla struttura confi- gurazionale del network in modo da palesare eventuali differenze dovute alle posizioni spaziali.
Per far ciò sono state analizzate le differenze ∆S0, tra la situazione spaziale variata e una situazione a riposo dove tutti i nodi seguono la stessa distribuzione, e ∆S00 tra la situazione spaziale variata e le entropie configurazionali, ossia ottenute senza l’imposizione della matrice delle distanze.
µ model Nel primo modello le posizioni dei nodi sono state distribuite, rispettiva- mente nel primo e nel secondo gruppo, secondo una gaussiana G(µ, σ), con µ = σ = 1 e secondo una gaussiana variata G(100 · µ, σ).
Per l’entropia Si non si è osservata una variazione significativa dalla distribuzione
nel caso a riposo, dove tutti i nodi sono disposti secondo G(µ, σ).
Per l’entropia ST S si è osservata una variazione globale della disposizione, ma nes- suna informazione significativa in grado di distinguere l’appartenenza dei nodi al primo o al secondo gruppo.
σ model Nel secondo modello la posizione spaziale del secondo gruppo di nodi è stata disposta secondo una gaussiana con diversa deviazione standard, ossia G(µ, 100 · σ), mentre la prima metà è stata disposta secondo la distribuzione a riposo G(µ, σ).
In questo caso si è osservata, per entrambe le misure, una netta separazione tra i nodi appartenenti al primo sottogruppo e quelli appartenenti al secondo. Questa separazione è confermata nell’analisi delle medie e deviazioni standard delle distribuzioni di entropie di singolo nodo.
Nel caso dell’entropia Si si osserva un compattamento delle entropie appartenenti alla distribuzione a riposo, verificato in termini di deviazione standard del sottogruppo che risulta decisamente diminuita. Le entropie relative al primo sotto-gruppo sono inoltre tendenzialmente più alte di quelle del sotto-gruppo variato. Non si osserva quindi una situazione bi-modale, ma una situazione in cui un gruppo è ampiamente distribuito e l’altro è più compatto.
Nel caso dell’entropia di Teschendorff-Severini, la misura è egualmente in grado di distinguere l’appartenenza ai sotto-gruppi dei singoli nodi, ma presenta delle differenze con l’entropia di singolo nodo qui introdotta. Le entropie sono infatti disposte in forma bi-modale, e le due distribuzioni dei sotto-gruppi sono simili in termini di varianza. Inoltre, mentre la misura Si risulta minore per i nodi regolati dalla distribuzione variata, ST S risulta invece maggiore. I risultati sono giustificabili direttamente nel contesto
della teoria dell’informazione, in quanto i valori della matrice di distanza sono utilizzati direttamente come pij nel calcolo delle entropie.
In conclusione, entrambe le misure, con le dovute precisazioni di contesto e differenze reciproche, si sono mostrate in grado di distinguere l’appartenenza dei nodi ai sotto- gruppi caratterizzati da una disposizione spaziale differente, nel caso in cui le differenze tra le distribuzioni spaziali siano in termini di varianza. È auspicabile l’applicazione, in futuro, della misura qui definita a dati reali, ad esempio nel contesto della transcritto- mica, per verificare che costituiscano osservabili in grado di distinguere le proprietà dei singoli geni, o proteine, in diverse situazioni ad alto livello a confronto.
Bibliografia
[1] Ginestra Bianconi. A statistical mechanics approach for scale-free networks and finite-scale networks Chaos 17, 026114 (2007)
[2] Ginestra Bianconi. The entropy of randomized network ensembles Europhys. Lett. 81, 28005 (2008).
[3] Ginestra Bianconi. Entropy of a network ensemble. Physical Review E 79, 036114 (2009).
[4] P. Erdős, A. Rényi. On the evolution of random graphs. Publ. Math. Inst. Hung. Acad. Sci 5, 17 (1960)
[5] E. T. Jaynes (1957) Information theory and statistical mechanics Physical Review 106:620
[6] G.Menichetti, G.Bianconi, E.Giampieri, G.Castellani e D.Remondini. Network Entropy measures applied to different systemic perturbations of cell basal state. [7] Juyong Park, M. E. J. Newman. The statistical mechanics of networks Phys. Rev.
E 70, 066117.
[8] C.E. Shannon A Mathematical Theory of Communication Bell System Technical Journal, vol. 27, pp. 379-423, 623-656 (July, October 1948)
[9] Andrew E Teschendorff, Simone Severini Increased entropy of signal transduction in the cancer metastasis phenotype BMC Systems Biology, 4:104 (2010)
[10] Joy A. Thomas and Thomas M. Cover, Elements of Information Theory John Wiley & Sons, (2006)
[11] M. Tribus, E.C. McIrvine Energy and information Scientific American, 224 (September 1971).
[12] G. Turchetti Meccanica, sitemi dinamici, complessità dagli atomi agli automi, il passaggio al vivente e forse al pensante Paesaggi della complessità e inseparabilità dei mondi. Ed. Luciano Boi, MIMESIS (2010)