Schlagwort-Archive: Kontext

Information

Entropie und Information

Hinterlassen Sie einen Kommentar

Entropie und Information

Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt.
Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist.

Information ist immer relativ.

Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so sehr an dieses Bild gewöhnt, dass wir glauben, dass Information in kleinen Kügelchen daherkommt, die ja und nein sagen können. Doch dieses Bild täuscht.

Denn natürlich sagen die Kügelchen nicht ‹ja› oder ’nein›, nicht 0 oder 1, nicht TRUE oder FALSE, und auch sonst nichts bestimmtes. Bits haben gar keine Bedeutung, es sei denn, man habe diese Bedeutung von aussen her definiert. Dann können sie sehr gut 1, TRUE, ‹Ich komme heute zum Abendessen› oder irgend etwas anderes aussagen, jedoch erst zusammen mit ihrer Umgebung, ihrem Kontext.

Aus dieser Überlegung wird klar, dass Information relativ ist. Das Bit bekommt seine Bedeutung erst aus einer bestimmten Einordnung heraus. Je nachdem bedeutet es 0 oder 1, ‹Wahr› oder ‹Falsch›, usw. Das Bit ist an seinem Platz zwar gesetzt, doch seine Bedeutung bekommt es erst durch seinen Platz.
Somit muss der Platz, also der Kontext mit hineingenommen werden, damit klar wird, was das Bit bedeuten soll. Und natürlich ist die Bedeutung relativ, das heisst, das gleiche Bit, kann in einem anderen Kontext, einem anderen Platz eine ganz andere Bedeutung haben.

Diese Relativität ist nun charakteristisch nicht nur für das Bit, sondern für jede Art Information. Jede Information bekommt ihre Bedeutung erst durch den Kontext, in dem sie steht. Sie ist also relativ. Denken Sie das am besten an Beispielen aus Ihrem Leben durch. Information ist nicht das Signal, das auf ‹ja› oder ’nein› steht. Dieses Signal ist nur das Signal. Was es bedeutet, wird erst klar, wenn Sie das Signal aus Ihrer Warte heraus interpretieren, wenn Sie es aus Ihrem Kontext heraus ansehen.
Erst dann bekommt das Signal für Sie eine Bedeutung. Diese Bedeutung liegt nicht absolut, d.h. isolierbar im Signal Bit, sondern relativ in der Interaktion zwischen Ihrer Erwartung , dem Kontext, und der Stellung des Schalters, der auf ON oder OFF gestellt sein kann. Dieser Schalter ist das Bit. Seine Bedeutung an sich, also wenn das Bit isoliert wird, ist nur ON oder OFF.
Alles andere liegt in der Umgebung.

Definition der Entropie

In Anbetracht der Tatsache, wie wichtig Information und Informationstechnologien sind, ist es schon erstaunlich, wie wenig bekannt die wissenschaftliche Defintion von Entropie, also von Information ist:

Entropie ist das Mass für die Information, die im Mikrozustand bekannt ist, im Makrozustand aber nicht.

Die Entropie hängt somit eng mit der Information auf Mikro- und Makrolevel zusammen, und sie kann als ‹Abstand› oder Differenz der Information auf den beiden Informationsebenen gesehen werden.

Mikro- und Makroebene

Was ist mit diesem Abstand zwischen Mikro- und Makroebene gemeint? – Die Mikroebene enthält die Details (also viel Information), die Makroebene die Übersicht (also weniger, dafür gezieltere Information). Der Abstand zwischen den beiden Ebenen kann sehr klein sein (wie beim Bit, wo das Mikrolevel gerade zwei Informationen kennt: on oder off ) oder aber riesig gross, wie z.B. bei der Temperatur (Makrolevel)  des Kaffees, wo Bewegungsenergien der vielen Moleküle (Mikrolevel) die Temperatur des Kaffees bestimmt. Die Zahl der Moleküle liegt in diesem Fall in der Grössenordnung der Avogadroschen Zahl 1023, also ganz schön hoch, und die Entropie des Kaffees in der Tasse ist entsprechend wirklich sehr hoch.

Andererseits gibt es auch ‹kleine› Informationen, die sehr nahe an der Grössenordnung eines Bits (Infogehalt = 1) heran kommen. Immer aber kommt es auf das Verhältnis von Mikro- zu Makrozustand an. Dieses Verhältnis – also was im Mikrozustand gewusst wird, im Makrozustand aber nicht – definiert die Information.

Die Komplexität des Makrozustandes

Der Makrozustand enthält stets weniger Information als der Mikrozustand, er ist eine gezielte Vereinfachung der Information des Mikrozustandes.

For example: a certain individual (micro level), can belong to the collective macro groups of Swiss inhabitants, computer scientists, older men, contemporaries of the year 2024, etc., all at the same time.

Das führt dazu, dass der gleiche Mikrozustand verschiedene Makrozustände beliefern kann. Zum Beispiel: Ein Individuum des Mikrolevels kann in der komplexen Welt der Gesellschaft mehreren Makrogruppen angehören, also gleichzeitig den Makrogruppen der Schweizer, der Informatiker, der älteren Männer, der Zeitgenossen des Jahres 2024 usw. Alle diese Makrogruppen bestehen aus vielen Individuen und sie überschneiden und durchdringen sich auf wechselnde Weise.

Die Möglichkeit, aus verschiedenen Mikrozuständen gleichzeitig mehrere Makrozustände herauszuziehen, ist charakteristisch für die Komplexität von Mikro- und Makrozustand und somit auch für die Entropie.

So einfach lässt sich also die Entropieüberlegung nicht in komplexere Netze übertragen, wie es die einfachen Beispiele der Kaffeetasse nach Boltzmann, des verlorene Schlüssel nach Salm oder das simple Bit vermuten lassen.

Siehe auch:
– Paradoxe Logikkerne, Teil 2
– Bit und Unterscheidung
– Fünf Vorurteile über Entropie

Das ist ein Beitrag zum Thema Entropie. Siehe -> Übersichtsseite Entropie

 

Information, Logik

Das Bit hat keine Bedeutung

Hinterlassen Sie einen Kommentar

Das Bit ist die Basis der IT

Unsere Informationstechnologie baut auf dem Bit auf. Alles, was in unseren Computern geschieht, basiert auf diesem kleinsten Basiselement der Information. Wenn Sie gefragt werden, was ein einzelnes Bit bedeutet, werden Sie möglicherweise antworten, dass das Bit zwei Zustände einnehmen kann, von denen der eine 0 ist und der andere 1 bedeutet. Auf diese Weise können wir bekanntlich beliebig hohe Zahlen schreiben, wir müssen einfach genügend Bits hintereinander reihen.

Aber stimmt das auch? Bedeutet wirklich der eine Zustand im Bit 0 und der andere 1? Können die beiden Zustände nicht auch ganz andere Bedeutungen annehmen?

Dem Bit können beliebige Bedeutungen zugeschrieben werden

In der Tat können die beiden Zustände des Bits irgendeine Bedeutung einnehmen. Beliebt sind neben 0/1 auch Wahr/Falsch, Ja/Nein, Positiv/Negativ, aber im Prinzip und in der Praxis können dem Bit von aussen irgendwelche Bedeutungen zugeschrieben werden. Selbstverständlich sind auch Umkehrungen erlaubt, also neben 0/1 auch 1/0.

Die Zuschreibung der Bedeutung des Bits erfolgt von aussen

Ob das konkrete Bit im Computerprogramm nun 0/1 oder 1/0 oder irgendetwas anderes bedeutet, spielt selbstverständlich eine entscheidende Rolle. Die Bedeutung liegt aber nicht im Bit selber, denn das Bit ist eine höchst radikale Abstraktion. Es sagt nur aus, dass zwei Zustände existieren und welcher zur Laufzeit gerade aktuell ist. Was die beiden aber bedeuten, ist eine ganz andere Geschichte, die über das einzelne Bit weit hinausgeht. In einem Computerprogramm kann z.B. deklariert werden, dass das Bit dem Wertepaar TRUE/FALSE entspricht. Das gleiche Bit kann aber auch mit anderen Bits zusammen als Teil einer Zahl oder eines Buchstabencodes interpretiert werden – sehr unterschiedliche Bedeutungen also, je nach Programmkontext.

Digitaler und analoger Kontext

Das Softwareprogramm ist der digitale Kontext und er besteht selbstverständlich aus weiteren Bits. Diese Bits aus der Umgebung können verwendet werden, um die Bedeutung eines Bits zu bestimmen. Nehmen wir an, unser Bit sei mit weiteren Bits daran beteiligt, den Buchstaben ‹f› zu definieren. Unser Programm sei auch so organisiert, dass dieser Buchstabe in eine Tabelle zu stehen kommt, und zwar in eine Spalte, die mit ‹Geschlecht› überschrieben ist. All dies ist in der Software klar geregelt. Legt nun die Software die Bedeutung des Bits fest? Sicher sind Sie nicht überrascht, wenn das ‹f› die Bedeutung ‹feminin› hat und die Tabelle vermutlich verschiedene Personen auflistet, die männlich oder weiblich (f) sein können. Was aber bedeuten männlich und weiblich? Erst in der analogen Welt bekommen diese Ausdrücke eine Bedeutung.

Das Bit, die perfekte Abstraktion

Das Bit stellt in der Tat den Endpunkt einer radikalen Informationsabstraktion dar. Die Information ist im einzelnen Bit soweit auf das absolut Elementare reduziert, dass die Information über die Bedeutung aus dem Bit vollständig herausgenommen worden ist. Das Bit sagt nur noch aus, dass zwei – ausserhalb des Bits beschriebene – Zustände existieren und welcher der beiden zu einem bestimmten Zeitpunkt aktuell ist.

Diese radikale Abstraktion ist gewollt und in einer Software sehr sinnvoll. Denn so kann das gleiche physische Bit im Chip des Computer immer wieder neu verwendet werden, einmal als TRUE/FALSE-Paar, einmal als 0/1, einmal als JA/NEIN usw. Das ist sehr praktisch und ermöglicht dem Computer, beliebige Aufgaben zu erfüllen. Die dadurch gewonnene perfekte Abstraktion nimmt dem einzelnen Bit aber gleichzeitig seine individuelle Bedeutung und diese kann und muss dann für jede Anwendung von aussen neu gegeben werden.

Der unendliche Regress

Wenn die Bedeutung des Bits von aussen gegeben wird, dann können natürlich andere Bits diese Aufgabe übernehmen und die Bedeutung des einen Bits definieren. Dazu müssen aber diese äusseren Bits die entsprechende Wirkkraft haben, die natürlich nicht ohne deren eigenen Bedeutung zu haben ist. Und selbstverständlich liegen die Bedeutungen der Bits dieses äusseren Kreises nicht in diesen Bits selber – aus den gleichen Gründen wie oben – sondern sie müssen von aussen, d.h. von einem weiteren Kreis von Bits gegeben werden. Die Bits dieses zweiten äusseren Kreises müssen in einem weiteren Kreis erklärt werden und die Bedeutung der Bits dieses weiteren Kreises wiederum von einem noch äusseren  …  Selbstverständlich kommt dieser Prozess der Bedeutungszuordnung in einer Welt von Bits nie an sein Ende, der Regress ist unendlich.

Erst im Analogen endet der unendliche Regress

Erst wenn wir aus dem Programm in die Realwelt heraustreten, können wir den Informationen aus dem Computer wirkliche eine Bedeutung zuordnen.

Selektiver und deskriptiver Informationsgehalt

Wenn wir das oben Beschriebene rekapitulieren können wir im Bit Folgendes unterscheiden:

Der deskriptive Informationsgehalt sagt aus, was das Bit bedeutet, er beschreibt die beiden Zustände des Bits, sagt aber nicht aus, welcher Zustand aktuell gewählt ist.  Der selektive Informationsgehalt andererseits sagt aus, welcher der beiden Zustände aktuell ist, weiss aber nichts über die Eigenschaften der beiden Zustände, und somit auch nichts über ihre jeweilige Bedeutung.

Die Unterscheidung zwischen selektivem und deskriptivem Informationsgehalt wurden vom britischen Radar-Pionier und Informationswissenschaftler Donald MacKay in den 40-er Jahren des letzten Jahrhunderts geprägt, praktisch gleichzeitig mit der ersten Erwähnung und Beschreibung des klassischen Bits durch den Amerikaner C. A. Shannon. MacKay hat auch bereits sehr klar erkannt, dass das Bit von Shannon nur einen selektiven Informationsgehalt trägt und der deskriptive von aussen gegeben werden muss.

Erstaunlicherweise ist diese Erkenntnis von MacKay heute beinahe in Vergessenheit geraten.

Fazit:

1. Das Bit liefert den selektiven Informationsgehalt.
2. Der deskriptive Informationsgehalt liegt nicht im Bit.
3. Ein isoliertes Bit trägt allein keine Bedeutung.
4. Die Bedeutung des Bits wird stets von ausserhalb des Bits gegeben.
5. Dadurch wird ein unendlicher Regress initiiert.
6. Erst im Analogen endet der unendliche Regress.

Die Zahl der Bits misst die Quantität von Information -> Übersichtsseite Informationstheorie