Schlagwort-Archive: Makrozustand

Information

Entropie und Information

Hinterlassen Sie einen Kommentar

Entropie und Information

Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt.
Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist.

Information ist immer relativ.

Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so sehr an dieses Bild gewöhnt, dass wir glauben, dass Information in kleinen Kügelchen daherkommt, die ja und nein sagen können. Doch dieses Bild täuscht.

Denn natürlich sagen die Kügelchen nicht ‹ja› oder ’nein›, nicht 0 oder 1, nicht TRUE oder FALSE, und auch sonst nichts bestimmtes. Bits haben gar keine Bedeutung, es sei denn, man habe diese Bedeutung von aussen her definiert. Dann können sie sehr gut 1, TRUE, ‹Ich komme heute zum Abendessen› oder irgend etwas anderes aussagen, jedoch erst zusammen mit ihrer Umgebung, ihrem Kontext.

Aus dieser Überlegung wird klar, dass Information relativ ist. Das Bit bekommt seine Bedeutung erst aus einer bestimmten Einordnung heraus. Je nachdem bedeutet es 0 oder 1, ‹Wahr› oder ‹Falsch›, usw. Das Bit ist an seinem Platz zwar gesetzt, doch seine Bedeutung bekommt es erst durch seinen Platz.
Somit muss der Platz, also der Kontext mit hineingenommen werden, damit klar wird, was das Bit bedeuten soll. Und natürlich ist die Bedeutung relativ, das heisst, das gleiche Bit, kann in einem anderen Kontext, einem anderen Platz eine ganz andere Bedeutung haben.

Diese Relativität ist nun charakteristisch nicht nur für das Bit, sondern für jede Art Information. Jede Information bekommt ihre Bedeutung erst durch den Kontext, in dem sie steht. Sie ist also relativ. Denken Sie das am besten an Beispielen aus Ihrem Leben durch. Information ist nicht das Signal, das auf ‹ja› oder ’nein› steht. Dieses Signal ist nur das Signal. Was es bedeutet, wird erst klar, wenn Sie das Signal aus Ihrer Warte heraus interpretieren, wenn Sie es aus Ihrem Kontext heraus ansehen.
Erst dann bekommt das Signal für Sie eine Bedeutung. Diese Bedeutung liegt nicht absolut, d.h. isolierbar im Signal Bit, sondern relativ in der Interaktion zwischen Ihrer Erwartung , dem Kontext, und der Stellung des Schalters, der auf ON oder OFF gestellt sein kann. Dieser Schalter ist das Bit. Seine Bedeutung an sich, also wenn das Bit isoliert wird, ist nur ON oder OFF.
Alles andere liegt in der Umgebung.

Definition der Entropie

In Anbetracht der Tatsache, wie wichtig Information und Informationstechnologien sind, ist es schon erstaunlich, wie wenig bekannt die wissenschaftliche Defintion von Entropie, also von Information ist:

Entropie ist das Mass für die Information, die im Mikrozustand bekannt ist, im Makrozustand aber nicht.

Die Entropie hängt somit eng mit der Information auf Mikro- und Makrolevel zusammen, und sie kann als ‹Abstand› oder Differenz der Information auf den beiden Informationsebenen gesehen werden.

Mikro- und Makroebene

Was ist mit diesem Abstand zwischen Mikro- und Makroebene gemeint? – Die Mikroebene enthält die Details (also viel Information), die Makroebene die Übersicht (also weniger, dafür gezieltere Information). Der Abstand zwischen den beiden Ebenen kann sehr klein sein (wie beim Bit, wo das Mikrolevel gerade zwei Informationen kennt: on oder off ) oder aber riesig gross, wie z.B. bei der Temperatur (Makrolevel)  des Kaffees, wo Bewegungsenergien der vielen Moleküle (Mikrolevel) die Temperatur des Kaffees bestimmt. Die Zahl der Moleküle liegt in diesem Fall in der Grössenordnung der Avogadroschen Zahl 1023, also ganz schön hoch, und die Entropie des Kaffees in der Tasse ist entsprechend wirklich sehr hoch.

Andererseits gibt es auch ‹kleine› Informationen, die sehr nahe an der Grössenordnung eines Bits (Infogehalt = 1) heran kommen. Immer aber kommt es auf das Verhältnis von Mikro- zu Makrozustand an. Dieses Verhältnis – also was im Mikrozustand gewusst wird, im Makrozustand aber nicht – definiert die Information.

Die Komplexität des Makrozustandes

Der Makrozustand enthält stets weniger Information als der Mikrozustand, er ist eine gezielte Vereinfachung der Information des Mikrozustandes.

For example: a certain individual (micro level), can belong to the collective macro groups of Swiss inhabitants, computer scientists, older men, contemporaries of the year 2024, etc., all at the same time.

Das führt dazu, dass der gleiche Mikrozustand verschiedene Makrozustände beliefern kann. Zum Beispiel: Ein Individuum des Mikrolevels kann in der komplexen Welt der Gesellschaft mehreren Makrogruppen angehören, also gleichzeitig den Makrogruppen der Schweizer, der Informatiker, der älteren Männer, der Zeitgenossen des Jahres 2024 usw. Alle diese Makrogruppen bestehen aus vielen Individuen und sie überschneiden und durchdringen sich auf wechselnde Weise.

Die Möglichkeit, aus verschiedenen Mikrozuständen gleichzeitig mehrere Makrozustände herauszuziehen, ist charakteristisch für die Komplexität von Mikro- und Makrozustand und somit auch für die Entropie.

So einfach lässt sich also die Entropieüberlegung nicht in komplexere Netze übertragen, wie es die einfachen Beispiele der Kaffeetasse nach Boltzmann, des verlorene Schlüssel nach Salm oder das simple Bit vermuten lassen.

Siehe auch:
– Paradoxe Logikkerne, Teil 2
– Bit und Unterscheidung
– Fünf Vorurteile über Entropie

Das ist ein Beitrag zum Thema Entropie. Siehe -> Übersichtsseite Entropie

 

Information

Informationsreduktion 8: Unterschiedliche Makrozustände

Hinterlassen Sie einen Kommentar
Zwei Zustände gleichzeitig

Im Vorbeitrag habe ich dargestellt, wie ein System auf zwei Ebenen beschrieben werden kann, auf der Ebene des Mikro- und auf der des Makrozustandes. Auf der Ebene des Mikrozustandes finden sich alle Detailinformationen, auf derjenigen des Makrozustandes finden sich weniger, dafür stabilere Informationen. Das klassische Beispiel ist das Wasserglas, wo der Mikrozustand die Bewegung der einzelnen Wassermoleküle beschreibt, der Makrozustand dafür die Temperatur der Flüssigkeit kennt. In diesem Beitrag möchte ich darauf eingehen, wie unterschiedlich die Beziehung zwischen Mikro- und Makrozustand sein kann.

Hängt der Makrozustand vom Mikrozustand ab?

Der Makrozustand ist informatisch, d.h. bezüglich seines Informationsgehaltes, zwar immer kleiner als der Mikrozustand, doch es stellt sich darüber hinaus die Frage, ob er überhaupt eine eigene Existenz hat. Ist er nicht einfach eine Folge des Mikrozustandes? Wie weit ist der Makrozustand durch den Mikrozustand wirklich determiniert? M.E. gibt es in dieser Hinsicht grosse Unterschiede. Das wird deutlich, wenn wir uns überlegen, wie wir die Zukunft der Systeme vorhersagen können:

Wasserglas

Wenn wir die Bewegungsenergien der vielen einzelnen Moleküle kennen, dann kennen wir auch die Temperatur. Das Wissen über den Mikrozustand erlaubt uns, den Makrozustand zu kennen. Wir wissen in diesem Fall auch, wie er sich weiterentwickelt. Wenn das System geschlossen bleibt, dann bleibt die Temperatur konstant. Der Makrozustand bleibt gleich, während im Mikrozustand jede Menge Informationen umher wuseln. Die Temperatur ändert sich erst, wenn Einflüsse von aussen dazu kommen, insbesondere Energieflüsse. Weshalb bleibt die Temperatur gleich? Der Grund liegt im Energieerhaltungssatz. Die Gesamtenergie des geschlossenen Systems bleibt gleich, somit bleibt auch der Makrozustand gleich, wie auch immer die Variablen im Mikrozustand sich ändern.

Weshalb aber gilt der Energieerhaltungssatz? Es bestehen enge Beziehungen zum Hamilton-Prinzip, dem Prinzip der kleinsten Wirkung. Das Hamilton-Prinzip ist eines der grundlegendsten Regeln in der Natur und gilt keinesfalls nur in der Thermodynamik.

Das geschlossene thermodynamische System ist ein ideales System, das so rein in der Natur kaum vorkommt. Es ist real immer nur eine Annäherung. Diesem abstrakten System möchte ich nun einige in der Natur wirklich vorkommende Systeme gegenüber stellen:

Wasserwellen und Bénard-Zellen

Dieser Typus System lässt sich als Welle auf einer Wasseroberfläche beobachten. In die gleiche Kategorie gehören für mich auch die Bénard-Zellen, über die Prigogine berichtet. In beiden Fällen entstehen die makroskopischen Strukturen als offene Systeme. Wellen und Zellen können nur durch äussere Einwirkungen entstehen, nämlich durch den Temperaturgradienten und die Gravitation bei den Bénard-Zellen und den Wind und die Gravitation bei den Wasserwellen. Die Strukturen entstehen durch das Einwirken dieser äusseren Kräfte, die in ihrem Zusammenspiel die makroskopische Strukturen entstehen lassen, welche interessanterweise über längere Zeit bestehen bleiben. Das Fortbestehen dieser Strukturen erstaunt. Weshalb behält die Welle ihre Form, obwohl immer wieder andere Materieteilchen ihre Grundlage bilden?

Im Unterschied zum isolierten thermischen System sind die in solchen offenen Systemen gebildeten makroskopischen Strukturen wesentlich komplexer. Einander gegenläufige Kräfte von aussen lassen völlig neue Formen – Wellen und Zellen – entstehen. Die äusseren Kräfte sind nötig, damit die Form entstehen und fortdauern kann, aber die entstandene makroskopische Form selber ist neu und nicht bereits in den informatisch (d.h. bezüglich Informationsgehalt) sehr einfachen äusseren Kräften angelegt.

Gleich wie im thermischen System haben wir neben der Makroebene der einfachen äusseren Form (Zelle oder Welle) eine Mikroebene mit den vielen Molekülen, welche z.B. die Form bilden. Und wieder ist die Makroebene, also die Form informatisch wesentlich einfacher als die Mikroebene der vielen Moleküle. Die Welle bleibt in ihrer Form über längere Zeit erhalten, während die vielen Moleküle, die sie bilden, sich wild durcheinander bewegen. Die Welle läuft weiter und erfasst neue Moleküle, welche jetzt die Welle bilden. In jedem Moment erscheint die Form, d.h. das Zusammenkommen des Makrozustandes aus den einzelnen Molekülen vollständig determiniert, aber informatisch viel einfacher erklärbar als durch die vielen Einzelmoleküle ist die Form auf der Makroebene selber, nämlich als einfache Fortsetzung der Welle, einfach mit neuen Molekülen auf der Mikroebene. Es sieht so aus, als wäre der neue Makrozustand am besten erklärbar durch den alten.

Im Gegensatz zu höher entwickelten Formen gilt bei Wasserwellen und Bénard-Zellen: Sobald die Kräfte von aussen nachlassen, verschwindet die Form. Unser Leben ist wie jedes organische aber darauf angewiesen, dass die Formen nicht so schnell verschwinden. Das bedeutet: Der Makrozustand muss gegenüber dem Mikrozustand gestärkt werden.

Der Thermostat

Wir können den Makrozustand stärken, indem wir ihm eine Steuerung beigeben. Denken Sie an eine Heizung mit einem Temperaturfühler. Sobald es kalt wird, wird geheizt, wenn die Temperatur zu hoch wird, hört das Heizen auf. Auf diese Weise wird die Temperatur, d.h. der Makrozustand konstant gehalten. Natürlich ist dieses Heizungssystem thermodynamisch alles andere als geschlossen. Und Temperaturfühler und Steuerung zur Unterstützung und Konstanthaltung des Makrozustandes sind vom Menschen gebaut, entstehen also nicht wie die Wasserwellen auf natürliche Weise. – Oder gibt es so etwas auch in der Natur?

Autopoese und Autopersistenz

Natürlich gibt es solche Steuerungen auch in der Natur. Während meines Medizinstudiums war ich beeindruckt von den vielen und komplexen Steuerungskreisen im menschlichen Organismus. Steuerung hat immer mit Information zu tun. Das Medizinstudium hat mir nahegelegt, Information als wesentlichen Bestandteil der Welt anzusehen.

Man nennt die automatische Entstehung der Welle oder der Bénard-Zelle Autopoese. Welle und Zelle sind aber nicht beständig, die biologischen Organismen jedoch schon, jedenfalls wesentlich beständiger als es die Welle ist. Dies geschieht mit Hilfe von Steuerungen, die Teile des Organismus selber sind. Man muss sich das so vorstellen, als ob eine Welle realisiert, dass sie völlig vom Wind abhängig ist und darauf reagiert, in dem sie die Quelle ihrer Existenz (ihre Nahrung, den Wind) aktiv sucht, bzw. in sich eine Struktur schafft, die seine Energie für die schlechten Zeiten konserviert, wo es nicht weht.

Genau das tut der Körper, jeder biologische Körper. Er ist ein Makrozustand, der sich selber erhalten kann, indem er über Steuerungsvorgänge seinen Mikrozustand kontrolliert und auf die Umwelt reagiert.

Biologische Systeme

Diese Art System unterscheidet sich von isolierten thermischen Systemen durch seine Fähigkeit, Formen entstehen zu lassen und von einfachen, zufällig entstehenden natürlichen Formen wie einer Wasserwelle durch seine Möglichkeit, die Form aktiv überleben zu lassen. Dies ist möglich, da solche biologischen Systeme auf die Umgebung mit dem Ziel reagieren können, ihr Überlebens zu sichern. Von den einfacheren autopoietischen Systemen unterscheidet sich ein biologisches System durch eine länger andauernde Formkonstanz dank komplexen inneren Steuerungen und eine gezielte Aktivität gegenüber der Umgebung.

Damit die Formkonstanz möglich ist, braucht es ein wie immer geartetes Gedächtnis, das das Muster bewahrt. Und um auf die Umgebung gezielt zu reagieren, hilft eine wie immer geartete Vorstellung über diese Aussenwelt. Beides, das Gedächtnis für das eigene Muster und die wie auch immer vereinfachte Vorstellung über die Aussenwelt müssen im biologischen System informatisch fixiert sein, sonst kann die Formkonstanz nicht erhalten werden. Das biologische System hat somit einen wie immer gearteten informatischen Innenraum.

Biologische Systeme sind wegen den oben beschriebenen Eigenschaften immer interpretierende Systeme.

Dies ist ein Beitrag aus der Serie Informationsreduktion.

Information

Informationsreduktion 7: Mikro- und Makrozustand

Hinterlassen Sie einen Kommentar

Beispiele von Informationsreduktion

In den bisherigen Texten haben wir Beispiele von Informationsreduktion in folgenden Gebieten angesehen:

  • Kodierung / Klassifizierung
  • Sinneswahrnehmung
  • Fallpauschalen
  • Meinungsbildung
  • Wärmelehre

Was ist gemeinsam?

Mikro- und Makrozustand

Allen diesen Beispielen ist gemeinsam, dass wir bezüglich Informationen zwei Zustände haben, einen Mikrozustand mit vielen Details und einen Makrozustand mit wesentlich weniger Information. Sehr anschaulich und den meisten noch aus der Schule bekannt, ist das Verhältnis der beiden Ebenen in der Wärmelehre.

Beide Zustände existieren gleichzeitig. Sie betreffen weniger das betrachtete Objekt, als vielmehr die Sichtweise des Betrachters. Will er viel wissen? Oder weniger? Oder gar nur die Essenz, beziehungsweise das, was für ihn die Essenz darstellt? Je nach dem richtet sich sein Blick mehr auf die vielen Details des Mikrozustandes oder die einfache Information des Makrozustandes.

Mikro- und Makrozustand in der Informationstheorie

Die Bedeutung von Mikro- und Makrozustand wurde zuerst in der Wärmelehre erkannt. Meines Erachtens handelt es sich aber um ein ganz allgemeines Phänomen, das eng mit dem Prozess der Informationsreduktion verknüpft ist. Insbesondere bei der Untersuchung von Informationsverarbeitung in komplexen Situationen ist es hilfreich, die beiden Zustände zu unterscheiden.
Überall dort, wo die Informationsmenge reduziert wird, kann ein Mikro- und ein Makrozustand unterschieden werden. Dabei ist der Mikrozustand derjenige, der mehr Information enthält, beim Makrozustand ist die Informationsmenge reduziert.

Der detailreichere Mikrozustand gilt als «realer»

Je mehr Details wir sehen, umso besser glauben wir eine Sache zu erkennen. Deshalb sehen wir den detailreichen Mikrozustand als die eigentliche Realität an. Der Makrozustand ist dann entweder eine Interpretation oder eine Konsequenz des Mikrozustandes.

… aber der informationsarme Makrozustand interessiert mehr

Bemerkenswerterweise sind wir am informationsarmen Zustand aber mehr interessiert als am Mikrozustand. Die vielen Details des Mikrozustandes sind uns zu viele. Entweder sind sie uninteressant (Wärmelehre, Sinneswahrnehmung) oder sie verhindern die gewünschte klare Sicht auf das Ziel, für das der Makrozustandes steht (Kodierung, Klassifizierung, Meinungsbildung, Fallpauschalen).

Seltsamer Antagonismus

Es besteht somit ein seltsamer Antagonismus zwischen den beiden Zuständen: Während wir den einen als realer ansehen, sehen wir den anderen als für uns relevanter an. So als stünden real und relevant im Gegensatz zueinander. Je realer, d.h. detailreicher die Sichtweise wird, umso irrelevanter erscheint die einzelne Information, und je intensiver die Sichtweise sich um Relevanz bemüht, umso mehr löst sie sich von der Realität. Dieses paradoxe Verhältnis von Mikro- zu Makrozustand ist charakteristisch für alle Verhältnisse von Informationsreduktion und zeigt die Bedeutung aber auch die Herausforderung, die solche Prozesse an sich haben.

Gibt es Unterschiede zwischen den informationsreduzierenden Prozessen?

Auf jeden Fall. Gemeinsam ist ihnen nur, dass eine Darstellung auf einer detailreichen Mikro- und informationsarmen Makroebene möglich ist und die Makroebene meist relevanter ist.

Solche Prozesse beinhalten immer eine Informationsreduktion, aber die Art, wie reduziert wird, unterscheidet sich. Es ist nun äusserst erhellend, die Unterschiede genauer zu untersuchen. Die Unterschiede spielen nämlich entscheidend in viele Belange hinein. Mehr dazu im Fortsetzungsbeitrag.

Dies ist ein Beitrag zu einer Serie über Informationsreduktion. Der vorhergehende Beitrag beschäftigte sich mit Informationsreduktion in der Wärmelehre.

 

Information

Informationsreduktion 6: Das Wasserglas, revisited

Hinterlassen Sie einen Kommentar
Ist das Physik?

In meinem Beitrag Informationsreduktion 5: Das klassische Wasserglas habe ich als Beispiel für die Informationsreduktion das Wasserglas erwähnt. Dort reduziert sich die komplexe und detailreiche Information über die Bewegungsenergie der Wassermoleküle (Mikroebene) zur simplen Information über die Temperatur des Wassers.

Ein Physiker könnte dieses Beispiel natürlich kritisieren. Zu Recht, denn das Wasserglas ist viel komplizierter. Die Berechnungen von Boltzmann gelten nur für das ideale Gas, also für ein Gas, dessen Moleküle keine Interaktionen untereinander haben, ausser den Stössen, die sie untereinander erfahren und dabei ihre individuellen Bewegungsinformationen untereinander austauschen.

Ein ideales Gas

Ein solches Gas existiert auf der Erde nicht, es handelt sich um eine Idealisierung. Zwischen den einzelnen Molekülen existieren nämlich noch ganz andere Kräfte als die rein mechanischen. Im Wasserglas sowieso. Denn Wasser ist kein Gas, sondern eine Flüssigkeit, und weil zwischen Molekülen in Flüssigkeiten viel stärkere Bindungen existieren als zwischen Gasmolekülen, komplizieren diese zusätzlichen Bindungen das Bild.

Wasser

Beim Wasser ist es darüber hinaus nochmals besonders. Denn das Wassermolekül (H2O) ist ein starker Dipol, d.h. dass es einen starken elektrischen Ladungsunterschied zwischen seinen beiden Polen aufweist, dem negativ geladenen Pol mit dem Sauerstoffatom (O) und dem positiv geladenen Pol mit den beiden Wasserstoffatomen (H2). Diese starke Polarität führt dazu, dass sich mehrere Wassermoleküle aneinander lagern. Wenn solche Zusammenballungen auf Dauer bestehen würden, wäre das Wasser keine Flüssigkeit, sondern ein fester Stoff (wie Eis). Da die Zusammenballungen aber nur temporär sind, ist das Wasser eine Flüssigkeit, allerdings eine besondere, die sich ganz speziell verhält. Siehe dazu z.B. die aktuelle Forschung von Gerald Pollack.

Physik und Informationswissenschaft

Ein Physiker hätte das Wasserglas also wohl kaum als Beispiel gewählt. Ich möchte es allerdings nicht ändern. Um das Verhältnis zwischen der Information auf dem Mikro- und dem Makrozustand zu erklären, eignet sich das Wasserglas genauso gut. Boltzmanns Berechnungen stimmen zwar nur noch ungefähr, aber seine These bleibt: Die Temperatur eines Gegenstands ist auf der Makroebene die Information, die die vielen Informationen über die chaotischen Bewegungen der einzelnen Moleküle der Mikroebene quasi zusammenfasst.

Für einen Physiker ist das Wasserglas ein schlechtes Beispiel. Für einen Informationsphilosophen macht es aber keinen Unterschied. Ob ideales Gas oder Wasserglas, immer besteht ein Informationsgefälle zwischen dem Makrozustand und dem Mikrozustand. Darauf kommt es an. Im Wasserglas enthält der Mikrozustand Milliarden mal mehr Informationen als der Makrozustand. Und obwohl der Mikrozustand informationsmächtiger ist, interessiert uns der Makrozustand interessanterweise mehr.

Wie verläuft der Übergang?

Wie verläuft nun der Übergang vom Mikro- zum Makrozustand in den verschiedenen Fällen?  Offensichtlich verläuft er im Wasserglas wegen den speziellen Eigenschaften des H2O – Moleküls etwas anders als beim idealen Gas. Und in unseren weiteren, völlig unphysikalischen Beispielen Klassifizierung, Begriffsbildung und Framing verläuft dieser Übergang vom Mikro- zum Makrozustand nochmals völlig anders, und auf diese Besonderheiten sollten wir jetzt eingehen. Siehe dazu den Fortsetzungsbeitrag.

Zum Thema Informationsreduktion finden Sie hier die Übersichtsseite.