Entropie: Schlüssel zur Informationstheorie


Entropie ist mehr als Wärmelehre

Der Begriff Entropie stammt ursprünglich aus der Wärmelehre und ergänzt dort den Begriff der Energie. Entropie ist aber viel mehr, nämlich als Informationsentropie nach Claude Shannon auch ein Mass für Information.  Die zugehörige Masseinheit ist das Bit. Trotz seiner enormen Bedeutung in der Physik, der Informationstheorie, aber auch im Alltag, gilt der Begriff der Entropie als nerdig und kaum verständlich. Das wäre nicht nötig.

Fünf weit verbreitete Vorurteile erschweren das Verständnis dieses wichtigen Begriffs in der Physik und im Alltag:

Die Entropie spielt auch eine Rolle beim Unterschied zwischen Bits und Distinction nach Spencer-Brown:


Informationsreduktion

Mit der Entropie eng verbunden ist das Phänomen der Informationsreduktion.

Logische Systeme sind immer Vereinfachungen der viel komplexeren und detailhaltigeren Realität. Um zu verstehen, wie wir denken, müssen wir uns mit dieser notgeborenen und unausweichlichen Beschränkung unseres Wissens um die Realität abfinden. Zu diesem natürlichen Vorgang der Informationsreduktion habe ich ab 2019 eine kleine Beitragsserie geschrieben:

Das Thema der Informationsreduktion irritiert viele,  doch wir befinden uns damit auf den Spuren von zwei der wichtigsten europäischen Philosophen, nämlich von William Ockham (Ockhams Razor) und Sokrates (Ich weiss, dass ich nichts weiss).


Entropie wird in Bits gemessen und ist eine der Grundlagen von Information -> Übersichtsseite Informationstheorie