Archiv der Kategorie: Information

Information

Informationsreduktion 6: Das Wasserglas, revisited

Hinterlassen Sie einen Kommentar
Ist das Physik?

In meinem Beitrag Informationsreduktion 5: Das klassische Wasserglas habe ich als Beispiel für die Informationsreduktion das Wasserglas erwähnt. Dort reduziert sich die komplexe und detailreiche Information über die Bewegungsenergie der Wassermoleküle (Mikroebene) zur simplen Information über die Temperatur des Wassers.

Ein Physiker könnte dieses Beispiel natürlich kritisieren. Zu Recht, denn das Wasserglas ist viel komplizierter. Die Berechnungen von Boltzmann gelten nur für das ideale Gas, also für ein Gas, dessen Moleküle keine Interaktionen untereinander haben, ausser den Stössen, die sie untereinander erfahren und dabei ihre individuellen Bewegungsinformationen untereinander austauschen.

Ein ideales Gas

Ein solches Gas existiert auf der Erde nicht, es handelt sich um eine Idealisierung. Zwischen den einzelnen Molekülen existieren nämlich noch ganz andere Kräfte als die rein mechanischen. Im Wasserglas sowieso. Denn Wasser ist kein Gas, sondern eine Flüssigkeit, und weil zwischen Molekülen in Flüssigkeiten viel stärkere Bindungen existieren als zwischen Gasmolekülen, komplizieren diese zusätzlichen Bindungen das Bild.

Wasser

Beim Wasser ist es darüber hinaus nochmals besonders. Denn das Wassermolekül (H2O) ist ein starker Dipol, d.h. dass es einen starken elektrischen Ladungsunterschied zwischen seinen beiden Polen aufweist, dem negativ geladenen Pol mit dem Sauerstoffatom (O) und dem positiv geladenen Pol mit den beiden Wasserstoffatomen (H2). Diese starke Polarität führt dazu, dass sich mehrere Wassermoleküle aneinander lagern. Wenn solche Zusammenballungen auf Dauer bestehen würden, wäre das Wasser keine Flüssigkeit, sondern ein fester Stoff (wie Eis). Da die Zusammenballungen aber nur temporär sind, ist das Wasser eine Flüssigkeit, allerdings eine besondere, die sich ganz speziell verhält. Siehe dazu z.B. die aktuelle Forschung von Gerald Pollack.

Physik und Informationswissenschaft

Ein Physiker hätte das Wasserglas also wohl kaum als Beispiel gewählt. Ich möchte es allerdings nicht ändern. Um das Verhältnis zwischen der Information auf dem Mikro- und dem Makrozustand zu erklären, eignet sich das Wasserglas genauso gut. Boltzmanns Berechnungen stimmen zwar nur noch ungefähr, aber seine These bleibt: Die Temperatur eines Gegenstands ist auf der Makroebene die Information, die die vielen Informationen über die chaotischen Bewegungen der einzelnen Moleküle der Mikroebene quasi zusammenfasst.

Für einen Physiker ist das Wasserglas ein schlechtes Beispiel. Für einen Informationsphilosophen macht es aber keinen Unterschied. Ob ideales Gas oder Wasserglas, immer besteht ein Informationsgefälle zwischen dem Makrozustand und dem Mikrozustand. Darauf kommt es an. Im Wasserglas enthält der Mikrozustand Milliarden mal mehr Informationen als der Makrozustand. Und obwohl der Mikrozustand informationsmächtiger ist, interessiert uns der Makrozustand interessanterweise mehr.

Wie verläuft der Übergang?

Wie verläuft nun der Übergang vom Mikro- zum Makrozustand in den verschiedenen Fällen?  Offensichtlich verläuft er im Wasserglas wegen den speziellen Eigenschaften des H2O – Moleküls etwas anders als beim idealen Gas. Und in unseren weiteren, völlig unphysikalischen Beispielen Klassifizierung, Begriffsbildung und Framing verläuft dieser Übergang vom Mikro- zum Makrozustand nochmals völlig anders, und auf diese Besonderheiten sollten wir jetzt eingehen. Siehe dazu den Fortsetzungsbeitrag.

Zum Thema Informationsreduktion finden Sie hier die Übersichtsseite.

 

Information

Informationsreduktion 5: Das klassische Wasserglas

Hinterlassen Sie einen Kommentar
Informationsreduktion in der Wärmelehre

In der Wärmelehre findet sich ein ganz besonderes Beispiel für die Informationsreduktion. Das Beispiel ist deshalb besonders, weil es so einfach ist. Es zeigt das Grundgerüst der Informationsreduktion in aller Deutlichkeit, ohne die Komplexität anderer Beispiele, z.B. solchen aus der Biologie. Es ist vielen von uns auch aus dem Physikunterricht bereits bestens bekannt.

Was ist Temperatur?

Ein Wasserglas enthält viele Wassermoleküle, die sich mit unterschiedlichen Geschwindigkeiten in unterschiedlichen Richtungen bewegen, dabei immer wieder mit anderen Wassermolekülen zusammenstossen und bei jedem Stoss Geschwindigkeit und Bewegungsrichtung ändern. Mit anderen Worten: Das Wasserglas ist der typische Fall eines realen Objektes, das eine von aussen unüberblickbare Informationsmenge enthält.

Das ist die Darstellungsweise mit den Wassermolekülen. Was ist nun die Temperatur der Flüssigkeit im Wasserglas?

Wie Ludwig Boltzmann erkannte, ist die Temperatur nichts anderes als die Folge der Bewegungen der vielen einzelnen Einzelmoleküle in einem Gasbehälter oder einem Wasserglas. Je schneller sie sich bewegen, umso mehr Energie haben sie und umso höher wird die Temperatur.

Wie er zeigte, lässt sich die Temperatur statistisch eindeutig aus den Bewegungsenergien der vielen Moleküle berechnen. Milliarden von Molekülen mit ihren dauernden Bewegungsänderungen ergeben genau eine Temperatur. Aus vielen Informationen wird eine.

Die Mikroebene und die Makroebene

Bemerkenswerterweise kann auf der Ebene der einzelnen Moleküle nicht von Temperatur gesprochen werden. Dort findet sich nur die Bewegung der vielen einzelnen Moleküle, die sich bei jedem Stoss ändert, abrupt und z.T. massiv. Die Bewegungsenergie der Moleküle ist abhängig von ihrer Geschwindigkeit und ändert sich entsprechend bei jedem Stoss mit.

Obwohl sich auf der Mikroebene der Wassermoleküle die Bewegungen dauernd ändern, bleibt auf der Makroebene des Wasserglases die Temperatur vergleichsweise konstant. Und für den Fall, dass sich die Temperatur ändert, weil z.B. Wärme vom Wasser an die Wände des Glases abgegeben wird, gibt es Formeln, die die Bewegung der Wärme und somit die Temperaturänderung berechnen lassen. Diese Formeln bleiben auf der Makroebene, d.h. sie kommen ganz ohne den Einbezug der vielen und komplizierten Stösse und Bewegungen der Wassermoleküle aus.

Man kann den Temperaturverlauf somit vollständig auf der Makroebene beschreiben und berechnen, ohne die Details der Mikroebene mit den vielen Wassermolekülen kennen zu müssen. Obwohl die Temperatur (Makroebene) vollständig und ausschliesslich durch die Bewegung der Moleküle (Mikroebene) definiert wird, ist die Kenntnis der Detailinformationen für ihre Voraussage (Temperaturverlauf auf der Makroebene) gar nicht nötig. Die Details der Mikroebene scheinen auf der Makroebene zu verschwinden. Wir haben einen typischen Fall von Informationsreduktion.

Im Fortsetzungsbetrag wird das Bild vom Wasserglas präzisiert. Anschliessend schauen wir das Verhältnis von Mikro- und Makrozustand genauer an.

Zum Thema Informationsreduktion finden Sie hier die Übersichtsseite.

 

Information

Informationsreduktion 4: Framing

Hinterlassen Sie einen Kommentar
Framing macht den Unterschied

Aktuell wird der Framing-Effekt häufig erwähnt. Es geht bei dem Effekt darum, dass die gleiche Botschaft ganz unterschiedlich wahrgenommen wird, je nachdem, welche Zusatzinformationen mit der Botschaft mitgesendet werden. Diese zusätzlichen Informationen dienen dazu, der Botschaft den passenden Rahmen (Frame) zu geben, sodass die Empfänger der Botschaft entsprechend reagieren.

Auch wenn die eigentliche Botschaft neutral gesehen die gleiche wäre und die Zusatzinformationen der Wahrheit entsprechen, kann der Empfänger mit Framing gehörig manipuliert werden – nur schon durch die Auswahl der (an sich korrekten) Details. Framing wird selbstverständlich in der Werbung verwendet, ganz besonders aktuell und heikel ist aber das Verwenden von Framing in der politischen Berichterstattung.

Natürlich gehört zum Framing in Politik und Werbung immer die Wortwahl, die einen Fact mit den entsprechenden emotionalen Inhalten verbindet. Doch schon die simple Tatsache, welche Aspekte (Details) des Geschehens in den Vordergrund gerückt werden und welche in den Hintergrund, verändert das Bild, das sich der Empfänger von der Botschaft macht. Bei der Rezeption der Tatsache, dass viele Flüchtlinge/Migranten nach Europa wollen, kommt es zum Beispiel darauf an, welche der vielen Menschen man im Blick hat und auf welche der vielen Aspekte, Gründe, Umstände und Folgen ihrer Reise man das Hauptgewicht legt. Berichte über kriminelle Aktivitäten einzelner Migranten lassen in uns ein ganz anderes Bild entstehen als Schilderungen der unmenschlichen, unfassbar schrecklichen Bedingungen der Reise. Die Tatsache, dass Menschen kommen, ist ein Fact. Wie man aber den Fact bewertet, d.h. seine Interpretation, ist eine Sache der Vereinfachung, d.h. der Fact-Auswahl. Damit sind wir ganz klar beim Phänomen der Informationsreduktion angekommen.

Framing und Informationsreduktion

Die Realität enthält immer viel mehr Detailinformationen als wir verarbeiten können. Und weil wir deshalb immer eine Vereinfachung durchführen müssen, spielt die Auswahl der Information eine entscheidende Rolle: Was wird in den Vordergrund gerückt wird und was in den Hintergrund? Je nachdem verändert sich unsere Wahrnehmung und in der Folge auch unser Urteil. Dieses Phänomen der Informationsreduktion ist das gleiche wie bei der medizinischen Kodierung, wo auch die unterschiedlichsten Merkmale zur Kodezuweisung verwendet werden – oder eben nicht –  (siehe Beitrag Zwei Arten von Codierung-1). Die Reduktion und Selektion der Information findet ganz prinzipiell bei allen Wahrnehmungsprozessen statt. Wir müssen (um zu urteilen und zu handeln) stets vereinfachen. Die Selektion der Details macht unsere Wahrnehmung aus, und die Selektion ist nicht vom betrachteten Objekt abhängig, sondern vom Subjekt, das die Auswahl durchführt.

Verschiedene Interpretationen sind möglich (siehe früheren Beitrag)

Die Realität (oben im Diagramm) enthält alle Fakten, unsere Interpretation der Realität ist aber immer eine Auswahl aus den vielen Details der Fakten, und wir können dadurch zu unterschiedlichen Ansichten gelangen. Ich glaube, dass dieses Phänomen der Informationsreduktion (das Interpretationsphänomen) etwas Grundlegendes und Unausweichliches ist, und dass es an den unterschiedlichsten Orten eine wichtige Rolle spielt. Der Framing-Effekt ist nur eines, aber ein typisches Beispiel dafür.

Links zum Framing:
– Spiegelbeitrag «Ab jetzt wird zurückgeframt» vom 22.2.2019
– Wikipedia zum Framing-Effekt
– Interview mit Kommunikationstrainer Benedikt Held

Die Phänomene Informationsreduktion und Selektion hängen eng zusammen. Damit beschäftigt sich der Vorbeitrag dieser Serie.

In der Fortsetzung dieser Serie geht es um Informationsreduktion in der Physik.

Zum Thema Informationsreduktion finden Sie hier die Übersichtsseite.

 

Information, Logik

IF-THEN / statisch oder dynamisch?

Hinterlassen Sie einen Kommentar
Zwei Typen von IF-THEN

Viele glauben, dass das IF-THEN in der Logik eine klare Sache sei. Meiner Ansicht nach wird dabei aber oft übersehen, dass es vom IF-THEN zwei verschiedene Typen gibt. Der Unterschied zwischen den beiden besteht darin, ob das IF-THEN eine interne zeitliche Komponente besitzt oder nicht.

Dynamisches (reales) IF-THEN

Für viele von uns ist das IF-THEN dynamisch, d.h. es besitzt eine spürbare zeitliche Komponente. Bevor wir zum Schluss, d.h. zum THEN gelangen, schauen wir das IF genau an, d.h. die Bedingung, die anschliessend den Schluss erlaubt. Mit anderen Worten: Die Bedingung wird ZUERST angesehen, DANN kommt der Schluss

Das ist nicht nur im menschlichen Denken, sondern auch bei Computerprogrammen so. Computer erlauben die Kontrolle von ausgedehnten und komplexen Bedingungen (IFs). Diese müssen durch den Prozessor des Rechners im Memory abgelesen werden. Vielleicht müssen noch kleinere Berechnungen durchgeführt werden, die in den IF-Statements enthalten sind, und die Resultate der Berechnungen müssen dann mit den verlangten IF-Bedingungen verglichen werden. Natürlich brauchen die Abfragen Zeit. Auch wenn der Computer sehr schnell ist, und die Zeit, die für die Kontrolle des IFs benötigt wird, minimal ist, ist sie trotzdem messbar. Erst NACH der Kontrolle, kann der in der Computersprache formulierte Schluss, das THEN, ausgeführt werden.

Im menschlichen Denken, wie auch bei der Ausführung eines Computerprogramms, sind also das IF und das THEN zeitlich eindeutig getrennt. Das wird Sie nicht erstaunen, denn beides, der Ablauf des Computerprogramms wie das menschliche Denken sind reale Vorgänge, sie laufen in der realen, physischen Welt ab, und in dieser benötigen alle Prozesse Zeit.

Statisches (ideales) IF-THEN

Etwas mehr erstaunen wird Sie vielleicht, dass in der klassischen mathematischen Logik, das IF-THEN keine Zeit braucht. Das IF und das THEN bestehen simultan. Wenn das IF wahr ist, ist automatisch und sofort das THEN wahr. Eigentlich ist es sogar falsch, von vorher und nachher zu sprechen, da Aussagen in der klassischen mathematischen Logik immer ausserhalb der Zeit stehen. Wenn eine Aussage wahr ist, ist sie immer wahr, wenn sie falsch ist, ist sie immer falsch (=Monotonie, siehe vorhergehende Beiträge).

Das mathematische IF-THEN wird oft mit Venn-Diagrammen (Mengen-Diagrammen) erläutert. In diesen Visualisierungen ist das IF z.B. durch eine Menge repräsentiert, die eine Teilmenge der Menge des THEN ist. Es handelt sich für die Mathematiker beim IF-THEN um eine Relation, die vollständig aus der Mengenlehre abgeleitet werden kann. Dabei geht es um (unveränderbare) Zustände von Wahr oder Falsch, und nicht um Prozesse, wie beim Denken in einem menschlichen Hirn oder beim Ablauf eines Computerprogramms.

Wir können also unterscheiden
  • Statisches IF-THEN:
    In Idealsituationen, d.h. in der Mathematik und in der klassischen mathematischen Logik.
  • Dynamisches IF-THEN:
    In Realsituation, d.h. in real ablaufenden Computerprogrammen und im menschlichen Hirn.
Dynamische Logik verwendet das dynamische IF-THEN

Wenn wir eine Logik suchen, die der menschlichen Denksituation entspricht, dann dürfen wir uns nicht auf das ideale, d.h. das statische IF-THEN beschränken. Das dynamische IF-THEN entspricht dem normalen Denkvorgang besser. Die dynamische Logik, für die ich plädiere, respektiert die Zeit und braucht das natürliche, d.h. das dynamische, das reale IF-THEN.

Wenn Zeit eine Rolle spielt, und nach dem ersten Schluss die Welt anders aussehen kann als vorher, kommt es darauf an, welcher Schluss zuerst gezogen wird. Man kann nicht beide gleichzeitig ziehen – ausser man lässt zwei gleichzeitig ablaufende Prozesse zu. Die beiden parallel laufenden Prozesse können sich aber gegenseitig beeinflussen, was die Sache natürlich auch nicht einfacher macht. Die dynamische Logik ist aus diesem und vielen anderen Gründen wesentlich komplexer als die statische. Umso nötiger brauchen wir, um die Sache in den Griff zu bekommen, einen klaren Formalismus.

Statisches und dynamisches IF-THEN nebeneinander

Die beiden Arten des IF-THENs widersprechen sich nicht, sondern ergänzen sich und können durchaus koexistieren. So beschreibt das klassische, statische IF-THEN logische Zustände, die in sich geschlossen sind, und das dynamische beschreibt logische Vorgänge, die von einem logischen Zustand zum anderen führen.

Dieses Zusammenspiel von Statik und Dynamik ist vergleichbar mit dem Zusammenspiel von Statik und Dynamik in der Physik, z.B. mit der Statik und Dynamik in der Mechanik oder der Elektrostatik und der Elektrodynamik in der Elektrizitätslehre. Auch dort beschreibt der jeweils statische Teil die Zustände (ohne Zeit) und der dynamische die Änderung der Zustände (mit Zeit).

Dies ist ein Beitrag zur dynamischen Logik. Er wird fortgesetzt mit der Frage, was passiert, wenn zwei dynamische IF-THENs miteinander konkurrieren.

Erst eine dynamische Logik erlaubt es, Denk- und Informationsprozesse in einen realen Rahmen zu sehen. Mehr zum Thema Logik -> Übersichtsseite Logik

 

Information

Informationsreduktion 3: Information ist Selektion

Hinterlassen Sie einen Kommentar
Informationsreduktion ist überall

Im vorhergehenden Beitrag habe ich beschrieben, wie bei der Kodierung medizinischer Sachverhalte – einem Vorgang, der von der Realität bis zu den Fallpauschalen (DRGs) führt – eine in der Tat drastische Reduktion der Informationsmenge stattfindet:

Informationsreduktion
Informationsreduktion

Diese Informationsreduktion ist nun keinesfalls auf die Information in der Medizin und ihre Kodierung beschränkt, sondern ist ein ganz allgemeines Phänomen. Immer wenn wir wahrnehmen, führen schon die Sinnesorgane, z.B. die Retina, eine Reduktion der Informationsmenge durch, im Hirn werden die Daten weiter vereinfacht, und im Bewusstsein kommt nur die für uns wichtige Essenz der Eindrücke an.

Informationsreduktion ist nötig

Wenn man die Frage stellt, wollen Sie viel wissen oder wenig, werden die meisten antworten, dass sie möglichst alles wissen möchten. Zum Glück wird ihr Wunsch nicht erfüllt. Bekannt ist das Beispiel des «Savants», der nach einem Flug über eine Stadt jedes einzelne Haus korrekt aus dem Gedächtnis zeichnen konnte. Der gleiche Mensch war aber unfähig, sich im Alltag allein zu bewegen. Die Informationsflut hindert ihn daran. Wir wollen keinesfalls alle Details wissen.

Informationsreduktion bedeutet Selektion

Wenn wir gezwungener- und vernünftigerweise Daten verlieren, dann stellt sich sofort die Frage, welche wir verlieren und welche wir behalten. Manche Leute stellen sich vor, dass die Auswahl naturgegeben sei, und dass im betrachteten Objekt begründet liegt, welche Daten wichtig sind und welche nicht. Diese Annahme ist m. E. schlicht falsch. Es ist der Betrachter, der entscheidet, welche Informationen für ihn wichtig sind und welche er vernachlässigen kann. Es hängt von seinen Zielen ab, welche Informationen er behalten will.

Natürlich kann der Betrachter aus dem Objekt nicht Informationen herausholen, die nicht drin stecken. Doch welche Informationen für ihn wichtig sind, entscheidet er selber – oder das System, dem er sich verpflichtet fühlt.

Ganz sicher ist das in der Medizin so. Wichtig sind diejenigen Informationen über den Patienten, die dem Arzt erlauben, eine sinnvolle Diagnose zu stellen – und das System der Diagnosen hängt wesentlich davon ab, was und wie therapiert werden kann. Der medizinische Fortschritt führt dann dazu, dass immer wieder andere Aspekte und Daten eine Rolle spielen.

Mit anderen Worten: Wir können nicht alles wissen, und wir müssen die Menge der erhältlichen Informationen aktiv verkleinern, um zu urteilen und zu handeln. Die Informationsreduktion ist unumgänglich und sie bedeutet immer eine Selektion.

Unterschiedliche Selektionen sind möglich

Welche Information geht verloren, welche bleibt erhalten? Die Antwort auf diese Frage entscheidet, wie unser Bild des betrachteten Objektes aussieht.

Interpretation der Realität
Verschiedene Informations-Selektionen (Interpretationen) sind möglich

Weil der Betrachter – bzw. das ihn prägende System – entscheidet, welche Information behalten wird, sind verschiedene Selektionen möglich. Je nachdem, welche Merkmale wir in den Vordergrund stellen, werden unterschiedliche Individualfälle in die gleiche Gruppe oder Schublade gezählt und unterschiedliche Betrachter gelangen so zu unterschiedlichen Interpretationen derselben Realität.

Diese Serie wird fortgesetzt mit einem ein konkreten Beispiel von Selektion, dem Framing.

Zum Thema Informationsreduktion finden Sie hier die Übersichtsseite.

 

Information

Informationsreduktion 2: Der drastische Trichter

Hinterlassen Sie einen Kommentar
Der Trichter der Informationsreduktion

Im vorhergehenden Beitrag Informationsreduktion 1 habe ich eine Kette der Informationsverarbeitung vom Patienten bis zur Fallpauschale (DRG) beschrieben:

Bei dieser Kette handelt es sich um einen Trichter, der die verfügbare Informationsmenge bei jedem Schritt reduziert. Das Ausmass der Reduktion ist drastisch. Stellen Sie sich vor, sie haben den Patienten vor sich. Um ihn zu beschreiben, können Sie z.B. die roten Blutkörperchen zählen. Es gibt 24–30 Billionen (= 24–30·1012 ) davon, jedes hat eine bestimmte Form, einen Ort im Körper, eine Bewegung zu einem bestimmten Zeitpunkt und eine bestimmte Menge an rotem Blutfarbstoff im Innern. Das ist in der Tat eine Menge Information. Natürlich wollen sie diese Details gar nicht alle wissen. In der Regel genügt es zu wissen, ob sich im Blutkreislauf genug roter Blutfarbstoff (Hämoglobin) findet. Nur wenn das nicht der Fall ist (bei Anämie), wollen wir mehr wissen. So reduzieren wir die Information über den Patienten und wählen nur das Nötige aus. Das ist sehr vernünftig – obwohl wir dabei Information verlieren.

Der Trichter, quantifiziert

Um das Ausmass der Informationsreduktion zu quantifizieren, habe ich in der oben stehenden Abbildung rechts bei jeder Stufe der Informationsverarbeitung die Anzahl der möglichen Zustände aufgeführt. Von unten her sind dies:

  • DRGs (Fallpauschalen): Es gibt unterschiedliche DRG-Systeme. Stets sind es aber ca. 1000 verschiedene Pauschalen, also 103 Zustände. Auf der Stufe Fallpauschale sind also 103  verschiedene Zustände möglich. Dies ist die Information, welche auf dieser Stufe erhältlich ist.
  • Codes: Die ICD-10 Klassifikation bietet in der Schweiz ca. 20’000 verschiedene Codes an. Jeder Code entspricht einer Diagnose. Da  ein Krankenhaus-Patient in der Regel mehr als eine Diagnose hat, nehme ich als Näherung zwei Diagnosen an. Die Information kann also zweimal zwischen 20’000 Zuständen auswählen, das ergibt 400’000’000 = 4 x 108.
  • Texte: SNOMED, eine ausgedehnte medizinische Nomenklatur, enthält ca. 500’000 (5 x 105 )verschiedene Wörter. Da in einer Krankengeschichte viele Wörter vorkommen, ist die Informationsmenge hier natürlich sehr viel detailreicher. Meine Schätzung von 1015 ist hier gewiss untertrieben.
  • Wahrnehmung (Perception) und Realität: Ich verzichte auf eine Schätzung. Das oben genannte Beispiel mit den roten Blutkörperchen zeigt, was für riesige Informationsmengen in der Realität vorliegen.

Dieser Text zur Informationsreduktion wird fortgesetzt mit einem Beitrag zur Selektion. Eine solche ist immer dann nötig, wenn die Menge an Detaildaten unübersichtlich wird – also eigentlich immer.

Zum Thema Informationsreduktion finden Sie hier die Übersichtsseite.

 

Information

Informationsreduktion 1: Kodierung

Hinterlassen Sie einen Kommentar
2 Arten von Kodierung

Im einem früheren Beitrag zur Kodierung habe ich zwei Arten von Kodierung beschrieben, die sich grundsätzlich unterscheiden. In der ersten Art wird versucht, die komplette Information der Quelle in die kodierte Form zu übertragen, in der zweiten Art wird bewusst darauf verzichtet. Es ist zweite, also die informationsverlierende Form, die uns besonders interessiert.

Als ich vor 20 Jahren in meinen Präsentationen auf diesen Unterschied hinwies und das Wort «Informationsverlust» prominent in meinen Folien auftauchte, wurde ich von meinen Projektpartnern darauf aufmerksam gemacht, dass das Wort bei den Zuhörern möglicherweise schlecht ankommt. Schliesslich wollen alle gewinnen, niemand will verlieren. Wie kann ich ein Produkt anpreisen, das den Verlust als Qualitätsmerkmal führt?

Nun, manchmal muss man über den Schatten springen und erkennen, dass gerade das, was man um jeden Preis zu vermeiden sucht, einen besonderen Wert hat. Und das ist bei der informationsverlierenden Kodierung mit Sicherheit der Fall.

Medizinische Kodierung

Unsere Firma spezialisierte sich auf die Kodierung von medizinischen Freitext-Diagnosen. Die Ärzte schreiben in die Krankengeschichten ihrer Patienten die Diagnose in Freitext und unser Programm las sie und ordnete ihnen automatisiert einen Kode zu. Dieser Kode (ICD-10) ist ein Standard mit nicht ganz 20’000 verschiedenen Kodes. Das klingt nach viel, die Zahl ist aber klein in Anbetracht der Milliarden von unterscheidbaren Diagnosen und Diagnoseformulierungen in der Medizin (siehe Beitrag). Der einzelne Kode kann natürlich nicht mehr Information enthalten als der Standard an dieser Stelle unterscheidet. In den Volltext-Diagnosen stand meist mehr und unsere Aufgabe war es, automatisiert die relevante Information aus den Freitexten zu ziehen, um den korrekten Kode zuzuweisen, was uns auch ganz gut gelang.

Die Kodierung ist Teil einer grösseren Kette

Doch die Kodierung ist nur ein Schritt. Einerseits geht die Kette der Informationsverarbeitung von den Kodes weiter zu den Fallpauschalen (DRGs), und andererseits sind die zu kodierenden Freitexte in den Krankengeschichte bereits Ergebnisse einer mehrstufigen Kette von früheren Informationsverarbeitungen und -reduktionen. Insgesamt liegt bei einem Krankenhausfall vom untersuchten Patienten bis zur Fallpauschale eine Kette mit folgenden Stufen vor:

  • Patient: Menge der im Patienten enthaltenen Information.
  • Arzt: Menge der Information über den Patienten, die der Arzt erkennt.
  • Krankengeschichte: Menge der Information, die der Arzt dokumentiert.
  • Diagnosen: Menge der Information, die in den Diagnosetexten steckt.
  • Codes: Menge der Information, die in den Diagnosecodes steckt.
  • Fallpauschale: Menge der Information die in der Fallpauschale steckt.

Bei jedem Schritt wird Information reduziert und die Informationsreduktion ist meistens drastisch. Es stellt sich die Frage, wie das funktioniert. Lässt die Reduktion automatisieren? Und wenn ja, wie?

Serie über Informationsreduktion

Mit diesem Beitrag starte ich eine Serie von Texten zum Thema Informationsreduktion, das in meinen Augen ein Schlüsselthema für das Verständnis von Information und unserem Umgang damit ist. Informationsreduktion ist so omnipräsent und alltäglich, dass wir sie leicht übersehen können.

Im nächsten Beitrag stelle ich dar, wie drastisch das Ausmass der Reduzierung sein kann.

Hier geht es zur Übersicht über die Beiträge zur Informationsreduktion.

 

Information, Semantik

Zwei Arten von Kodierung 2

Hinterlassen Sie einen Kommentar
Die beiden Arten von Kodierung in Mengendarstellungen

Ich möchte an den ersten Beitrag zu Zwei Arten von Codierung anschliessen und den Unterschied zwischen den beiden Arten von Kodierung mit Mengen-Diagrammen verdeutlichen, denn ich denke, dass der Unterschied für das Gebiet der Semantik und für die allgemeine Informationstheorie wichtig genug ist, um allgemein verstanden zu werden.

Informationserhaltende Kodierung

Den informationserhaltenden Typus der Kodierung, kann man mit folgendem Diagramm darstellen:

Mengendiagramm 1:1-Kodierung
Abb 1: Informationserhaltende Kodierung (1:1, alle Kodes erreichbar)

Links sei die ursprüngliche, rechts die kodierte Form. Der rote Punkt könnte links z.B. der Buchstabe A sein, rechts der Morsekode Punkt-Strich. Da es sich um eine 1:1 – Abbildung handelt, findet man von jedem Element rechts sicher wieder zum Ausgangselement links, vom Punkt-Strich des Morsecodes also wieder den Buchstaben A.

Mengendiagramm 1:1-Kodierung, nicht alle Kodes erreicht
Abb. 2: Informationserhaltende Kodierung (1:1, nicht alle Kodes erreichbar)

Eine 1:1 Kodierung ist natürlich auch dann informationserhaltend, wenn nicht alle Kodes benützt werden. Da die unbenutzten bei der Kodierung nie entstehen können, spielen sie gar keine Rolle. Von jedem für einen Kode benützten Element der Abbildungsmenge rechts gibt es genau ein Element der Ausgangsform. Der Kode ist dadurch ohne Informationsverlust reversibel, d.h. dekodierbar und die ursprüngliche Form kann für jeden entstehenden Kode verlustfrei wieder hergestellt werden.

Mengendarstellung: Informationserhaltende Kodierung (1:n)
Abb. 3: Informationserhaltende Kodierung (1:n)

Auch bei einer 1:n – Kodierung kann die ursprüngliche Form verlustfrei rekonstruiert werden. Ein Ursprungselement kann zwar auf verschiedene Weise kodiert werden, doch jeder Kode hat nur ein Ursprungselement. Somit kann der Ausgangswert zweifelsfrei wieder erreicht werden. Auch hier spielt es keine Rolle, ob alle möglichen Kodes (Elemente rechts) gebraucht werden oder nicht, da nicht verwendete mögliche Kodes nie erreicht und somit auch nicht rückübersetzt werden müssen.

Bei allen bisher dargestellten Kodierverhältnissen (1:1 und 1:n) kann die ursprüngliche Information wieder vollständig rekonstruiert werden. Dabei kommt es nicht darauf an, ob 1:1 oder 1:n, und ob alle möglichen Kodes verwendet werden oder manche auch frei bleiben. Wichtig ist nur, dass jeder Kode immer nur von einem Ursprungselement erreicht werden kann – mathematisch gesprochen handelt es sich bei den informationserhaltenden Kodierungen um linkseindeutige Relationen.

Informationsreduzierende Kodierung
Mengendiagramm: Informationsreduzierende Kodierung
Abb. 4: Informationsreduzierende Kodierung (n:1)

Hier gibt es nun in der Ausgangsmenge mehrere Elemente, die auf den gleichen Kode, d.h. auf das gleiche Element in der Menge der entstehenden Kodes zeigen. Dadurch kann die ursprüngliche Form später nicht mehr rekonstruiert werden. Der rote Punkt in der Abbildungsmenge rechts repräsentiert einen Kode für den es drei unterschiedliche Ausgangsformen gibt. Die Information über den Unterschied zwischen den drei Punkten geht dadurch rechts verloren und kann nicht mehr rekonstruiert werden. Mathematiker sprechen von einer Relation, die nicht linkseindeutig ist. Kodierungen von diesem Typ verlieren Information.

Dies Art Kodierung ist zwar weniger «sauber»,  trotzdem ist sie aber genau diejenige, die uns besonders interessiert, da sie in der Realität für viele Vorgänge typisch ist.

Information, Semantik

Zwei Arten von Codierung 1

Hinterlassen Sie einen Kommentar

Ein simpler Knochenbruch

Um im Gesundheitswesen Transparenz zu schaffen werden die medizinischen Diagnosen codiert. Dies ist nötig, weil die Diagnosen sehr unterschiedlich formuliert werden können. So kann ein Patient z.B. an Folgendem leiden:

– einem Armbruch
– einer distale Fraktur des Radius
– einer Radiusfraktur loco classico
– einer geschlossenen Extensionsfraktur am distalen Radius
– einem Bruch der Speiche links
– einem Knochenbruch am linken Unterarm
– einer Fx des dist. Radius li
– einer Colles-fracture

Alle obigen Ausdrücke können den gleichen Sachverhalt bezeichnen, einmal präziser formuliert, einmal weniger und mit unterschiedlichen Wörtern und Abkürzungen. Die Liste liesse sich noch lange fortsetzen. Ich habe mich während Jahrzehnten mit solchen Ausdrücken befasst und kann Ihnen versichern, dass es ohne Übertreibung Milliarden von unterschiedlichen, aber absolut korrekten Formulierungen für medizinische Diagnosen gibt.

Selbstverständlich entzieht sich dieser Wust von Freitexten einer statistischen Bearbeitung und deshalb werden die Diagnosen codiert. Häufig wird dabei der ICD (International Classification of Diseases) Code verwendet, der ja nach Variante zwischen 15’000 und 80’000 Codes umfasst. Zehntausende von Codes sind natürlich viele, aber in Anbetracht der Milliarden von möglichen Textformulierungen sind die ICD-Codes vergleichsweise überschaubar.

Wie die Interpretation der Texte automatisiert wird, sodass sie von einem Computerprogramm durchgeführt werden kann, ist übrigens eine hochspannende Angelegenheit.

Morsecode 

Ein Morsecode dient der Kommunikation in Fällen wo nur ganz einfache Signale gesendet werden können. Die Buchstaben des Alphabets werden vom Sender als Punkte und Striche codiert und so gesendet und vom Empfänger decodiert, also wieder in Buchstaben umgewandelt. So wird ein E zu einem Punkt und ein A zu einem Punkt, gefolgt von einem Strich. Der Vorgang der Codierung/Decodierung ist perfekt umkehrbar, die Abbildung ist eineindeutig.

Kryptographie

Auch hier soll der Code wieder in die ursprüngliche Form zurückübersetzt werden. Der Unterschied zum Morsecode besteht einzig darin, dass die Übersetzungsvorschrift nur einem kleinen Kreis bekannt sein soll und meist auch etwas komplizierter ist. Wie beim Morsecode soll die verschlüsselte Form aber die gleiche Information tragen wie die ursprüngliche Form.

Informationsreduktion

Morsecode und kryptographische Codes haben beide das Ziel, dass am Ende der Empfänger wieder die ursprüngliche Botschaft herstellen kann. Die Information soll unverändert bleiben, nur die äussere Form ändert sich.

Beim ICD-Code ist die Situation aber eine ganz andere. Es geht dabei nicht um die Wörter, die 1:1 austauschbar sind, wie z.B. im obigen Beispiel das Wort Radius und das Wort Speiche . Bei der ICD-Codierung geht es nicht um umkehrbare Abbildungen. Es geht vielmehr darum, dass Information bewusst unter den Tisch fällt und definitiv verloren geht. Die ICD-Codes sind Schubladen, die mit unterschiedlichen Diagnosen gefüllt werden.  Und das mit gutem Grund: Es gibt einfach zu viele Detaillierungen bei den Diagnosen. So kann eine Fraktur folgende voneinander unabhängige Charakteristika aufweisen:

– Name des betroffenen Knochens
– Stelle am betroffenen Knochen
– Zustand der Hautbarriere (offen/geschlossen)
– Gelenkbeteiligung (intraartikulär/extraartikulär)
– Richtung der Fehlstellung (Flexion, Extension …)
– Art der Bruchlinie (spiral, etc).
– Zahl und Art der Bruchfragmente (Monoblock, Trümmerfraktur)
– Ursache (Trauma, Tumor-Metastase, Ermüdung)
– u.v.m.

Alle diese Merkmale sind kombinierbar, was sich mathematisch als Multiplikation der Möglichkeiten präsentiert. Eine medizinische Statistik kann selbstverständlich nicht alle Kombinationsvarianten berücksichtigen, deshalb berücksichtigt der Diagnosecode nur wenige und die ICD kommt in Deutschland und der Schweiz mit weniger als 20’000 Schubladen für die gesamte Medizin zurecht. Welche Information die Schubladen berücksichtigen und welche nicht, ist ein wichtiges Thema, sowohl für die Akteure im Gesundheitswesen wie auch für uns, die wir uns informationstheoretische (und -praktische!) Überlegungen zum Codiervorgang machen.

Zwei Arten von Codierung

Ich halte den oben genannten Unterschied für bedeutsam. Einerseits haben wir Codierungen, die das Ziel haben, die Information zu erhalten und nur die Form zu ändern, so wie der Morsekode und kryptographische Verschlüsselungen. Andererseits haben wir Codierungen wie die medizinische Diagnosecodierung, deren Ziel es ist, die Menge an Information zu reduzieren. Der Grund dieser Informationsreduktion ist, dass die Ursprungsmenge an Information zu gross ist und sie zum Zweck der Übersichtlichkeit vereinfacht werden muss – meist drastisch. Informationsreduzierende Codierung verhält sich entscheidend anders als informationserhaltende.

Dieser Unterschied hat es in sich. Mathematische Modelle und wissenschaftliche Theorien, die für die informationserhaltende Codierung gelten, sind für die informationsreduzierende nicht verwendbar. Wir stehen hier informationstheoretisch vor einer ganz anderen Situation. Mehr dazu in Zwei Arten von Kodierung 2.

Die Informationsreduktion ist ein Vorgang, der bei realer Informationsverarbeitung häufig an entscheidender Stelle vorkommt. Einen Einstieg in das Thema Informationsreduktion finden Sie hier.

Information

Welche Information trägt ein Bit?

Hinterlassen Sie einen Kommentar

Die Frage erscheint Ihnen vermutlich banal. Schliesslich weiss jedermann, was ein Bit ist, nämlich die Möglichkeit einmal aus zwei Zuständen auszuwählen.

Wo ist das Problem?

Ich möchte zu bedenken geben, dass die Frage nach der Information im Bit damit noch nicht beantwortet ist. Welche Information in einem Bit enthalten ist, hat nämlich auch mit der Frage zu tun, welche zwei Zustände überhaupt zur Auswahl stehen. Klassische Beispiele sind:

– 0 und 1
– Wahr und Falsch
– Positiv und Negativ
– Ein und Aus

Selbstverständlich erschöpft sich die Auswahl dadurch nicht. Auch männlich/weiblich, innen/aussen, gut/schlecht oder beliebige andere binäre Paare können in einem Bit stecken, genauso wie ihre jeweiligen Umkehrungen, also neben 0/1 genauso auch 1/0.

Woher weiss das Bit, welche beiden Zustände es anbietet?

Vielleicht denken Sie, dass dies einfach eine Sache im Bit sei. Das eine Bit enthält 0/1 als Paar und das andere Bit Wahr/Falsch. Die beiden Zustände wären somit natürliche Eigenschaften der jeweiligen individuellen Bits. Das trifft jedoch nicht zu, denn der Hersteller eines Chips hat die Bits des Chips nicht mit individuellen Eigenschaften versehen. Technisch gesehen sind die Bits alle genau gleich, ihre Simplizität und Neutralität macht ja gerade den Charme der binären Technologien aus.

Erst wenn im Computer ein Programm abläuft, werden den neutralen Bits individuelle Wertpaare wie 0/1, Wahr/Falsch usw. zugeordnet. Der Charakter, d.h. die eigentliche Bedeutung der beiden Zustände, wird erst durch das Programm in das Bit hineingelegt.

Das ist natürlich praktisch, weil so je nach Programm dem gleichen Bit im Chip eine immer wieder neue Bedeutung gegeben werden kann. Allerdings müssen wir jetzt zugeben, dass die Bedeutung nicht mehr im Bit steckt, sondern im aufrufenden Programm, mithin in ganz anderen Bits, nämlich denen des Programms.

Woher aber haben diese Bits wiederum ihre Bedeutung? Bei denen verhält es sich natürlich genau gleich, auch ihnen werden erst von aussen konkrete Wertepaare zugeordnet. Es geht also immer weiter nach aussen, und immer kann die Bedeutung des Wertepaares eines Bits nur mit weiteren Bits von aussen geschrieben werden – mit anderen Worten: Es handelt sich einen unendlichen Regress, jedes Bit, das ein anderes erklärt, muss erneut erklärt werden.

Wo ist das Ende der Kette?

Die Suche nach den Bits, mit denen man die anderen Bits erklären kann, findet somit nie ein Ende. Das ist die Natur eines unendlichen Regresses. Doch wir haben trotzdem eine Chance, das Ende des Regresses zu finden. Die Suche ist nämlich nur solange hoffnungslos, wie wir innerhalb des Computers bleiben. Als Mensch jedoch können Sie über den Computer hinausdenken. Das Programm ist ja zu einem bestimmten Zweck geschrieben worden und Menschen, Programmierer und Anwender, legen fest, welche Bedeutungen die Bits jeweils haben sollen. Die Bedeutung, und damit die konkreten individuellen Wertpaare der Bits entstehen am Ende des Regresses – offline – als Abmachung in den Köpfen der Menschen.

Allerdings sind wir auf diese Weise aus der Welt der Bits herausgerutscht, und meine Behauptung ist, dass es anders nicht geht. Solange wir in der Welt der Bits bleiben, bleiben wir in einer zwar präzisen, doch völlig „unbedeutenden“ Welt. Diese erlangt ihre Bedeutung erst, wenn wir den einzelnen Bits von aussen eine Bedeutung geben. Das heisst, wir verbinden ein bestimmtes Bit mit einer Information, die uns als Menschen etwas sagt. So lässt sich der unendliche Regress auflösen.

Isoliert gesehen, sind die beiden Zustände des Bits vollständig neutral und lassen sich deshalb mit beliebigen Bedeutungen belegen. Technisch gesehen ist das genial. Doch dürfen wir uns dadurch nicht verleiten lassen, mit Bits allein bedeutungstragende Information generieren zu können. Es braucht immer ein Aussen, das den Bits die Bedeutung zuweist.

Wir haben somit zwei Arten von Information:

A) Das isolierte Bit:
Dieses sagt aus, welcher der beiden Zustände des Bits gewählt wird, ohne die Zustände selber zu beschreiben. Es handelt sich um das technische Bit der konventionellen Informationstheorie.

B) Die dem Bit zugedachte Bedeutung:
Diese Information sagt aus, worum es beim Bit geht, welche beiden Zustände es sind, die mit dem Bit gewählt werden können. Es handelt sich um die qualitative Information, die mit dem Bit ausgedrückt werden kann. Obwohl wir sie dem Bit selber zuordnen, verschwindet sie, sobald wir das Bit isoliert betrachten.

Die beiden Arten von Information sind von prinzipiell unterschiedlicher Natur. Trotz oder gerade wegen ihrer unterschiedlichen Natur gehören sie zusammen. Erst ihre Kombination macht eine sinnvolle, das heisst bedeutungstragende Information aus.

Mehr zum Thema Information -> Übersichtsseite Informationstheorie