Information Theory

Teoria Transmiterii Informației

Course Description: This course aims to provide basic knowledge on introduction to mathematics of information theory. We will cover both classical and modern topics, including information entropy, lossless data compression, binary hypothesis testing, channel coding, and lossy data compression. The course offers an introduction to the quantitative theory of information and its applications to reliable, efficient communication systems. Topics include mathematical definition and properties of information, source coding theorem, lossless compression of data, optimal lossless coding, noisy communication channels, channel coding theorem, the source channel separation theorem, multiple access channels, broadcast channels, Gaussian noise, and time-varying channels.

Course Outcomes: Students are expected to be able to Measure information and compute entropy; Understand and compute mutual information and channel capacity; Understand the limits of source coding and reliable communication; Encode and decode linear block codes using generator matrices and polynomials; Encode and decode convolutional codes using linear algebra and the Viterbi algorithm.

Lectures:
1. Incursiune în Teoria Informației. (PDF)
2. Fundamente: probabilitate, incertitudine, informație. (PDF)
3. Entropie și informație. (PDF)
4. Surse discrete de informație. (PDF)
5. Canale discrete de transmisiuni. (PDF)
6. Compresia datelor. (PDF)
7. Coduri liniare.(PDF)
8. Coduri ciclice. (PDF)
9. Coduri ciclice corectoare de erori multiple. Coduri BCH. (PDF)
10. Coduri ciclice corectoare de erori multiple.Coduri Reed–Solomon. (PDF)
11. Coduri Convoluționale.(PDF).
12. Semnale și canale de comunicații descrise în timp continuu. (PDF)
13. Informația Continuă; Teorema de codare a canalelor de comunicații afectate de zgomot. (PDF)
14. Scheme de transmisie și codare a informației care utilizează Transformata Fourier. (PDF)
15. Aplicații ale Teoriei Informației în alte științe.(PDF)

Labs:
Lab. 0. Noțiuni de protecția muncii (PDF). Prezentarea mediului de lucru MATLAB(PDF).
Lab. 1. Probabilități (PDF).
Lab. 2. Variabile și procese aleatoare (PDF).
Lab. 3. Entropie și informație (PDF).
Lab. 4. Surse de Informaţie (PDF).
Lab. 5. Canale de Transmisiuni(PDF).
Lab. 6. Coduri instantanee (PDF).
Lab. 7. Coduri bloc liniare binare (PDF).
Lab. 8. Reducerea ratei de eroare folosind codarea Hamming (PDF).
Lab. 9. Coduri ciclice (PDF).
Lab. 10. Coduri ciclice (PDF).
Lab. 11. Reducerea ratei de eroare folosind codurile ciclice (PDF).
Lab. 12. TEST.
Lab. 13. RECUPERĂRI.

Module Supporting Material:
...

Additional Supporting Material:
In addition, the following books contains background information and are recommended:
1948 Shannon, A Mathematical Theory of Communication.
T. Cover and J. Thomas, Elements of Information Theory.
David J. C. MacKay, Information Theory, Inference, and Learning Algorithms
Robert M. Gray, Entropy and Information Theory
The IEEE Information Theory Society web-page.

INFO:
NOTE TEST LABORATOR