Discussione Shannon: la teoria dell'informazione, fondamenti e applicazioni

haxo

Helper
8 Maggio 2020
388
31
263
260
La teoria dell'informazione di Shannon studia e spiega il modo in cui l'informazione viene trasmessa, elaborata e compressa. Sviluppata dal grandissimissimo Claude Shannon, fornisce strumenti per quantificare l'informazione e ottimizzarla. Ha applicazioni in telecomunicazioni, crittografia e compressione dei dati.

Mi sono imbattuto nella teoria dell'informazione di Shannon per la prima volta quest'anno durante le scuole superiori. L'idea che ci sia una scienza che si occupa dell'informazione e delle sue fondamenti è stato veramente bello, dai anche divertente!.

Abbiamo fatto 3-4 lezioni su questa teoria, e fin dalla prima lezioni, si è accesa la lampadina. Shannon, con la sua teoria ha dimostrato concetti di bit, entropia e codifica e ha creato strumenti matematici per quantificare l'informazione e misurare la sua compressibilità.

Cercherò di scrivere solo le cose fondamentali, o almeno quello che ho scritto sul quaderno di sistemi e reti :)




1    Ma a che ca**o mi serve?


Ti serve.
Ti serve perchè viviamo nell'era delle informazione, dove se ti distrai, sei costretto a leggere per essere informato, sopratutto nell'informatica.
Quindi comunque si, ti serve

2    Ecco come funziona il processo comunicativo


Che sia per via etere, che sia via rete, il processo comunicativo, quindi di scambio di informazioni avviene attraverso questo schema:

1686736045905.png



Credo non abbia bisogno di spiegazioni, ma la faremo lo stesso:

Inizialmente, è presente la sorgente, cioè da dove parte il messaggio, continuando abbiamo bisogno di un trasmettitore che permette al messaggio di fluire nel canale comunicativo, per finire abbiamo un ricevitore che riceve il messaggio e lo passa al destinatario.

E' possibile notare che oltre a questi 4 elementi, ne è presente uno chiamato "Noise Source".
Il Noise Source sono tutti quei possibili disturbi che possono presentarsi nel canale comunicativo mettendo "a rischio" l'integrità del dato trasmesso

Pensiamo ad esempio un professore che durante è costretto a fermare momentaneamente la sua lezione a causa dei ragazzi all'ultimo banco che parlano.


3    Il concetto di codifica


3.1    Simboli e codici

Quando parliamo della teoria dell'informazione di Shannon, è necessario spiegare (per quanto sia banale) cosa siano simboli e codici

Per capire cosa sia un simbolo, possiamo prendere come riferimento l'alfabetoche rappresenta l'insieme di simboli distinti che possono essere utilizzati per creare messaggi (nel nostro caso).

Ma esistono altri tipi di simboli e codic, pensiamo ad esempio a come il computer comunica, semplicemente attraverso il numero 0, e il numero 1 (sistema binario )

Quindi, quando parliamo di simboli e codici ci riferiamo a elementi che utilizzati nel contesto appropriato, rappresentano l'informazione da codificare.


3.2    Codificazione del messaggio


La codifica si riferisce al processo di rappresentazione di un messaggio utilizzando un sistema di simboli (ad esempio l'alfabeto) o codici. L'obiettivo della codifica è ridurre la quantità di informazione necessaria per rappresentare il messaggio, in modo da rendendolo più compatto ed efficiente.



4    Applicazioni della teoria dell'informazione

La teoria dell'informazione di Shannon ha molte applicazioni in diversi campi. Uno dei settori principali in cui viene utilizzata è quello delle telecomunicazioni, infatti viene utilizzata per progettare sistemi di comunicazione efficienti. Ad esempio, quando parli al telefono o invii un messaggio su Internet, l'informazione viene convertita in segnali e trasmessa attraverso un canale di comunicazione.

La teoria vale anche per il settore della crittografia, in quanto utilizzando concetti di codifica e compressione dei dati, la teoria fornisce gli strumenti per proteggere le informazioni sensibili da accessi non autorizzato