Entropie ist mehr als Wärmelehre
Der Begriff Entropie stammt ursprünglich aus der Wärmelehre und ergänzt dort den Begriff der Energie. Entropie ist aber viel mehr, nämlich als Informationsentropie nach Claude Shannon auch ein Mass für Information. Die zugehörige Masseinheit ist das Bit. Trotz seiner enormen Bedeutung in der Physik, der Informationstheorie, aber auch im Alltag, gilt der Begriff der Entropie als nerdig und kaum verständlich. Das wäre nicht nötig.
Fünf weit verbreitete Vorurteile erschweren das Verständnis dieses wichtigen Begriffs in der Physik und im Alltag:
Was hat es nun mit diesem Schlüsselbegriff Entropie auf sich?
Entropie ist ein Mass für Information:
Entropie ist definiert als Abstand zwischen zwei Beschreibungsebenen:
Bits und ihr Kontext
In der Informationstheorie gelten Bits als Grundlage der Information. Bits und Entropie hängen eng zusammen, wie Shannon in seinem Schlüsselwerk ‹The Mathematical Theory of Communication› aufgezeigt hat.
Die Entropie spielt aber auch eine Rolle bei der Beschreibung des Kontexts eines Bits. Siehe dazu die Distinction (Unterscheidung) nach Spencer-Brown:
Entropie ist überall
Informationsreduktion
Mit der Entropie eng verbunden ist das Phänomen der Informationsreduktion.
Logische Systeme sind immer Vereinfachungen der viel komplexeren und detailhaltigeren Realität. Um zu verstehen, wie wir denken, müssen wir uns mit dieser notgeborenen und unausweichlichen Beschränkung unseres Wissens um die Realität abfinden. Zu diesem natürlichen Vorgang der Informationsreduktion habe ich ab 2019 eine kleine Beitragsserie geschrieben:
Das Thema der Informationsreduktion irritiert viele, doch wir befinden uns damit auf den Spuren von zwei der wichtigsten europäischen Philosophen, nämlich von William Ockham (Ockhams Razor) und Sokrates (Ich weiss, dass ich nichts weiss).
Entropie wird in Bits gemessen und ist eine der Grundlagen von Information -> Übersichtsseite Informationstheorie