Hans-Joachim Mascheck
vorgetragen am 20.1.1986 als Diskussionsbeitrag zum Philosophie-Zirkel
unter der Leitung von Prof. Dr. phil. habil. Siegfried Wollgast
Vorwort
Der Begriff der Information hat heute eine so große Bedeutung erlangt, daß auch die philosophischen Fragen nach seinem Wesen und seiner Einordnung in das bestehende Begriffssystem in zunehmendem Maße untersucht und diskutiert werden [1]. In diesem Zusammenhang sind u. a. die Namen v. Weizsäcker, Kerschner, Steinbuch und Jankov zu nennen. Es gibt verschiedene Ansätze zur Einordnung der Information in das Gefüge der grundlegenden Kategorien:
- zwischen den Begriffen Information – Bewegung – Energie – Masse bzw. Information -Form (im Aristoteles-Platonschen Sinne) – Bewegung – Masse können Beziehungen im Sinne einer Äquivalenz oder Einheit der Natur hergestellt werden (v. Weizsäcker)
- Information sei weder Bewegung noch Materie, sondern ein Drittes (Kerschner)
- Information sei der Mittler zwischen Geist und Materie (im Sinne einer Überwindung des Widerspruchs Materialismus -Idealismus)
Ich will hier nicht vordergründig auf die philosophische Problematik eingehen, betrachte aber die folgenden speziellen Ausführungen über die Information als physikalische Größe auch als einen Beitrag zur Beantwortung der allgemeinen Fragen. Die Überlegungen und Schlußfolgerungen stehen in enger Beziehung zu meiner fachlichen Arbeit auf dem Gebiete der Turbulenztheorie und der damit zwangsläufig verbundenen Beschäftigung mit allgemeinen Fragen der statistischen Physik.
Die Rolle des Informationsbegriffs in der Physik ist mit der Rolle des Energiebegriffs durchaus vergleichbar. Energie und Information sind zwei Größen, die alle Teilgebiete der Physik durchdringen, weil alle physikalischen Vorgänge mit Energieumwandlungen und zugleich mit Informationsübertragung verknüpft sind. Diese bilden zugleich die Bindeglieder, die die Teile zu einem einheitlichen Ganzen zusammenfügen, indem sie Beziehungen zwischen Begriffen, Größen und Sätzen herstellen, die schon zuvor in den Teilgebieten vorhanden waren, mehr oder weniger isoliert nebeneinander standen und nichts miteinander gemein zu haben schienen.
Im ersten Teil meiner Ausführungen will ich über die Parallelen sprechen, die zwischen den Bedeutungen der Energie und der Information für die Naturwissenschaften gezogen werden können. Es gibt jedoch auch wesentliche Unterschiede. Ihnen soll der zweite Teil gewidmet sein
Parallelen zur Energie
Die Energie ist eine physikalische Größe, die in allen Wissenschaften, die wir nicht zu den reinen Geisteswissenschaften oder zur Mathematik zählen, eine wichtige Rolle spielt. Die Entdeckung und Formulierung des Satzes von der Erhaltung der Energie bedeutete zugleich eine Vereinheitlichung des physikalischen Weltbilds. Mit der Energie war eine Größe gefunden, die alle Teilgebiete der Physik und der Chemie miteinander verbindet, die bei allen Wechselwirkungen eine Rolle spielt und überall mit gleichem Maß gemessen werden kann. Obwohl bei der Formulierung des Energiesatzes im Jahre 1842 von vornherein alle Energieformen in Betracht gezogen wurden, stand doch in gewisser Beziehung die Umwandlung mechanischer Energie in Wärme und umgekehrt im Blickpunkt. Damit war eine wichtige Verbindung zwischen der damals im Entstehen begriffenen Thermodynamik und der übrigen Physik hergestellt.
Der Satz von der Erhaltung der Energie ermöglichte die Herausarbeitung der Thermodynamik als Teilgebiet der Physik. Tatsächlich steht aber bis heute die Thermodynamik bildlich gesprochen nur mit einem Bein in der Physik. Das Gebäude der Thermodynamik stützt sich im wesentlichen auf den ersten und den zweiten Hauptsatz – den Satz von der Erhaltung der Energie und den Entropiesatz. Zwischen diesen beiden Sätzen gibt es innerhalb der Thermodynamik keine Rangordnung – anfangs betrachtete man den Energiesatz als den zweit wichtigeren, danach plädierten namhafte Physiker für das Primat des Entropiesatzes. Tatsächlich ist es aber weder möglich noch notwendig, eine Rangordnung aufzustellen.
Einen wesentlichen Unterschied zwischen beiden Hauptsätzen gibt es jedoch: Die Energie ist eine universelle Größe, die Energieerhaltung gilt überall in der Physik. Die Entropie dagegen ist eine spezifisch thermodynamische Größe. Außerhalb der Thermodynamik ist sie gar nicht definiert, und folglich kann auch der Entropiesatz nur in der Thermodynamik angewandt werden. Darauf, daß die Entropie eine rein thermodynamische Größe ist, die zudem nicht direkt gemessen werden kann, ist sicherlich auch die Tatsache zurückzuführen, daß viele ein recht gespanntes Verhältnis zu dieser Größe haben.
Natürlich ist auch die Temperatur außerhalb der Thermodynamik nicht definiert. Sie hängt eng mit der Entropie zusammen, ist uns aber wesentlich geläufiger, weil wir sie direkt empfinden und messen können. Aus der Tatsache, daß die beiden Hauptsätze der Thermodynamik gleich wichtig sind, aber nur einer davon auch außerhalb der Thermodynamik gilt, ergibt sich eine Frage, die merkwürdigerweise nie so gestellt wurde: Gibt es ein allgemeines, auch außerhalb der Thermodynamik gültiges Prinzip, das speziell für thermodynamische Systeme zum 2. Hauptsatz führt?
Ein solches Prinzip gibt es, aber diese Erkenntnis ist noch nicht alt. Die Entropie als Zustandsgröße wurde zuerst rein phänomenologisch von Clausius 1850 im Zusammenhang mit der Formulierung des 2. Hauptsatzes eingeführt. Einen gewissen Einblick in das Wesen der Entropie gab die statistische Deutung durch Boltzmann und Planck als Logarithmus der Wahrscheinlichkeit des Zustands, wobei das wesentliche die Verknüpfung mit der Wahrscheinlichkeit ist und sich der Logarithmus formal daraus ergibt, daß sich bei der Vereinigung zweier Systeme die Entropien addieren, während sich die Wahrscheinlichkeiten multiplizieren. Im zweiten Band seines Lehrbuchs der Chemischen Physik ([2], Bd. II, Teil I, S. 105) schreibt Eucken: „Somit ergibt sich, daß sich die Entropie in der Tat verhältnismäßig einfach statistisch deuten läßt; man kann sogar sagen, daß der zunächst recht unanschauliche Entropiebegriff bei der statistischen Deutung durch den engen Zusammenhang mit der Wahrscheinlichkeit des gesamten Makrozustandes physikalisch erst wirklich lebendig wird.“ Die statistische Deutung war zwar ein großer Fortschritt, lieferte aber noch keine unmittelbare Verbindung zu anderen Teilgebieten der Physik.
Die von Shannon 1948 [3] ausgearbeitete Informationstheorie hatte zunächst nichts mit der Thermodynamik zu tun. Sie enthielt jedoch ein Informationsmaß, dessen formale Darstellung völlig der Formel für die Entropie in der statistischen Thermodynamik glich und das von Shannon auch als Entropie bezeichnet wurde. Informationstheoretische Begriffe und Gedankengänge wurden danach bald in viele andere Wissenschaftszweige übernommen und erwiesen sich dabei als sehr nützlich. Die Einführung in die Thermodynamik begann mit der Arbeit von Tribus 1961 über die Informationstheorie als eine Basis der Thermostatik und Thermodynamik [4]. Heute wird diese Verknüpfung allgemein akzeptiert. In der Einführung in die Statistische Mechanik ([5], Abschn. 1.2, S. 28) schreibt Lenk: „Der grundlegende Informationsbegriff der Informationstheorie ist mit dem allgemeinen Entropiebegriff nahezu identisch. Der enge Zusammenhang mit dem thermodynamischen Entropiebegriff wird in Abschnitt 4.1. bewiesen.“ In einer Veröffentlichung mit dem Titel „Zusammenhang zwischen Energie, Information und Entropie in den Prozessen der Steuerung und Selbstorganisation“ (in[1]) geht Sedov u. a. auf die Beziehungen zur Thermodynamik ein. Zwischen der thermodynamischen Entropie die in Joule/Kelvin gemessen wird, und der Informationsentropie in Bit gibt es den Umrechnungsfaktor
\[\frac{1}{k*\ln2}=1.045*10^{26}\frac{Bit}{kJ/K}\]
W. Ebeling wirft in seinem Buch Strukturbildung bei irreversiblen Prozessen [6] die Frage nach einer anschaulichen Deutung des Zusammenhangs auf. Sie läßt sich so beantworten: Die Informationsentropie ist die bei optimaler Kodierung im Mittel erforderliche Informationsmenge zur Bezeichnung der speziellen Realisierung eines zufälligen Ereignisses. Demnach ist die in Bit umgerechnete Entropie eines thermodynamischen Systems die bei optimaler Kodierung erforderliche Informationsmenge zur Angabe aller Einzelheiten eines augenblicklichen Zustands – z. B. bei einem gasgefüllten Volumen die Kennzeichnung der Lagen und Geschwindigkeiten aller Gasmoleküle mit der quantentheoretisch möglichen Genauigkeit. Durch den Anschluß an den allgemeinen Informationsbegriff hat die thermodynamische Entropie ihre isolierte Stellung im Gebäude der Physik verloren. Das gleiche gilt auch für die Aussage des zweiten Hauptsatzes, daß die Entropie eines thermodynamisch abgeschlossenen Systems nicht abnehmen, sondern nur gleich bleiben oder zunehmen kann. Diese Aussage ist gleichbedeutend damit, daß die Information über ein physikalisches System nicht von allein zunehmen kann, sondern höchstens im Laufe der Zeit abnimmt.
Informationen über ein System erhält man durch Messung, und ohne weiteres Zutun wird diese Information nicht von selbst besser. Man könnte vielleicht meinen, daß es gleich ist, ob man die Entropie mit der Wahrscheinlichkeit des Zustands verbindet oder als Informationsmaß auffaßt. Das ist aber nicht der Fall.
Information und Informationsübertragung sind auch dann von Bedeutung, wenn die Vorgänge praktisch determiniert ablaufen und die Wahrscheinlichkeit keine Rolle spielt. Mit Informationen hat man es überall zu tun, mit Wahrscheinlichkeiten nur dort, wo ein Mangel an Information vorhanden ist. Daher ist der Begriff, der alle Erscheinungen und Vorgänge zueinander in Beziehung setzt, die Information und nicht die Wahrscheinlichkeit. Diesen Sachverhalt könnte man in der Weise veranschaulichen, wie dies in Bild 1 dargestellt ist:
Ohne den Informationsbegriff geht ein Riß durch die Physik. Sie wird zwar durch den Energiebegriff zusammengehalten, aber wir haben eine strenge Einteilung in deterministische und statistische Physik. Die Aussagen des 2. Hauptsatzes und Wahrscheinlichkeitsbetrachtungen haben keine Verbindung zur deterministischen Physik. Erst durch den Begriff und die Gesetze der Information wird der vollständige Zusammenhang hergestellt. Man könnte die Frage stellen, ob es überhaupt notwendig ist, eine solche Brücke zu schlagen. Tatsächlich ist ja bisher die Physik auch ohne diese Verbindung ausgekommen. Es gibt Erscheinungen, die eindeutig als determiniert behandelt werden können, und andere, die statistisch behandelt werden müssen. Ob es zwischen bestimmten Sätzen der statistischen und der deterministischen Behandlung eine Verbindung gibt, ist in diesen Fällen für die Berechnung uninteressant.
Es gibt aber auch Naturerscheinungen, die nicht so eindeutig einem dieser beiden Grenzfälle zugeordnet werden können, die einerseits Merkmale aufweisen, die eine statistische Behandlung notwendig machen, die andererseits aber auch Eigenschaften haben, die eine deterministische Behandlung nahelegen. Dann entsteht ein Streit darüber, was richtig ist. Die entsprechenden Wissensgebiete liegen offenbar an der in Bild 1 symbolisch dargestellten Schnittstelle.
Solange es keinen Übergang zwischen deterministischer und statistischer Behandlung gibt, währt der Streit um die Zuordnung. Erst die Verbindung ermöglicht es, den Grad der Regelmäßigkeit und der Unregelmäßigkeit quantitativ zu erfassen und damit in der Theorie zu arbeiten. Zu den Naturerscheinungen dieser Art gehört auch die Strömungsturbulenz. An solchen speziellen Beispielen zeigt sich die Notwendigkeit der Herstellung einer zweiten Verbindung zwischen den beiden großen Teilen der Physik. Die Erfahrung lehrt, daß solche Beziehungen, die zuerst nur durch wenige spezielle Erscheinungen nahegelegt werden, sich in der Folgezeit oft als sehr fruchtbar erweisen. Man kann also sagen: Bei allen natürlichen Vorgängen sind zwei wichtige Größen beteiligt: Energie und Information. In der Thermodynamik findet das seinen Ausdruck in der Existenz von zwei Hauptsätzen. Bei speziellen Problemen kann die Energie oder die Information im Vordergrund stehen, wie z. B. bei der Leistungselektronik und der Informationselektronik. Stets aber ist der andere Partner auch präsent.
Hat man sich einmal entschlossen, Energie und Information als zwei gleichrangige physikalische Größen anzusehen, die das Rückgrat von Naturwissenschaft und Technik bilden, dann liegt es nahe, sie auch in anderer Hinsicht zu vergleichen. Zwischen der Herausarbeitung des allgemeinen Energiebegriffs und der etwa 100 Jahre danach erfolgten Herausarbeitung des grundlegenden Informationsbegriffs gibt es viele Analogien.
- Beide stützen sich auf die Erfahrungen, die die Menschheit im Laufe ihrer Geschichte machte, und die daraus entwickelten Ideen, die teilweise schon recht sichtbar die Keime der heutigen Begriffe enthalten.
- Beide erhielten ihren unmittelbaren Anstoß dadurch, daß es eine technische Anwendung gab, bei der die betreffende Gesetzmäßigkeit eine ausschlaggebende Rolle spielt und die wegen ihres Umfangs zu einem bedeutenden Faktor der gesellschaftlichen Entwicklung geworden war.
- Und schließlich bildete bei beiden die Formulierung der grundlegenden Gesetze den Beginn einer qualitativ neuen Etappe des wissenschaftlich-technischen Fortschritts, bei der die universelle Bedeutung der Begriffe immer deutlicher zutage trat und tritt.
Der unmittelbare Anlaß und auslösende Faktor war für die Herausarbeitung des Energiebegriffs die Tatsache, daß mit der Wattschen Dampfmaschine von 1781/82 im Laufe der ersten Hälfte des 19. Jahrhunderts erstmals die Umwandlung der Energie in eine qualitativ andere Form in einem ökonomisch bedeutsamen Umfang technisch realisiert und genutzt wurde. Unmittelbarer Anlaß für die Herausarbeitung des Informationsbegriffs war, daß mit Telegraf, Telefon und Funktechnik erstmals die Informationsübertragung und – verarbeitung in bedeutendem Umfang technisch realisiert und genutzt wurde. In diesen Situationen und unter diesen Bedingungen konnten und mußten geradezu die grundlegenden Gesetzmäßigkeiten und Begriffe gesucht und gefunden werden. Natürlich waren die Begriffe nicht absolut neu. Sie haben ihre Wurzeln in älteren Ideen. Der wesentliche Punkt, der uns veranlaßt, die Entdeckung des Energieerhaltungssatzes Robert Mayer 1842 und der Information Claude Shannon 1948 zuzuschreiben, ist die Tatsache, daß sie mit ihren Veröffentlichungen den Grund für die einheitliche Messung der betreffenden Größen gelegt haben: R. Mayer gab erstmals einen genäherten Wert für das mechanische Wärmeäquivalent an und zeigte so, daß es möglich ist, alle Energien mit gleichem Maß zu messen. Shannon definierte mit der Entropie ein Maß für die Information, die für eine verlust- und störungsfreie Übertragung bei beliebigen Transformationen erhalten bleiben muss. Dadurch wurden die Begriffe zu meßbaren physikalischen Größen, mit denen man in Naturwissenschaft und Technik tatsächlich rechnen kann.
Sowohl für die Energie als auch für die Information gilt, daß die Erkenntnis ihrer universellen Bedeutung eine stürmische wissenschaftliche und technische Entwicklung auslöste, und zwar nicht nur auf den Gebieten, die den Anstoß zur Formulierung der Gesetze gegeben hatten. Zu den Wissenschaftsdisziplinen, für die der allgemeine Energiebegriff eine wesentliche Grundlage bildet, gehören die Thermodynamik, die chemische Thermodynamik und die physikalische Chemie. Wilhelm Ostwald betrachtete sogar die Energie als die wichtigste Größe überhaupt. Eine wesentliche Vertiefung erhielt der Energiebegriff durch die von Einstein formulierte Beziehung zur Masse. Die universelle Bedeutung der Energie für die gesamte Naturwissenschaft und Technik ist heute so offensichtlich, daß man darüber nicht zu sprechen braucht.
Die Informationstheorie wurde natürlich zuerst auf diejenigen Probleme angewandt, die ihre Ausarbeitung veranlaßt hatten. Sehr rasch stellte sich aber heraus, daß diese Theorie von allgemeinerer Bedeutung ist. Sie öffnete den Blick für einen Aspekt der Realität, der bisher zu wenig beachtet wurde. In bestehenden Wissenschaftsgebieten ermöglichte sie neue Fortschritte und zeigte Wege für die Lösung alter Probleme. Daneben förderte sie das Entstehen neuer wissenschaftlicher Disziplinen. Dieser Prozeß vollzieht sich gegenwärtig vor unseren Augen. Es ist sicherlich berechtigt, die Ausarbeitung des allgemeinen Energiebegriffs und des grundlegenden Informationsbegriffs zu den wichtigsten und folgenreichsten wissenschaftlichen Leistungen des 19. und des 20. Jahrhunderts zu zählen.
Besonderheiten der Information
Bis jetzt habe ich Argumente und Tatsachen angeführt, die Energie und Information als zwei gleichrangige allgemeine Größen der Physik ausweisen. Das gebührend herauszustellen ist notwendig. Es hilft, Die Bedeutung der Informationsbeziehungen in den speziellen Theorien zu erkennen und einzuordnen. Es gibt aber auch wesentliche Unterschiede zwischen beiden Größen. Darin kommt zum Ausdruck, daß durch sie unterschiedliche Seiten der Realität beschrieben werden. Die Energie ist eine Größe, die wir für einzelne Systeme angeben können. Natürlich benötigen wir z. B. zur Angabe einer kinetischen oder potentiellen Energie ein Bezugssystem, aber wesentliche Teile der Energie sind doch eine quantitativ angebbare Eigenschaft des isoliert betrachteten Systems.
Bei der Information dagegen handelt es sich immer um Beziehungen zwischen unterschiedlichen Systemen, unterschiedlichen Teilen der Realität. Darauf ist es sicherlich zurückzuführen, daß uns die Information in so vielfältiger Weise in den Berechnungen entgegentritt. Bei der Untersuchung technischer Systeme wird der Informationsfluß in den Steuer- und Regeleinrichtungen theoretisch erfaßt, und die Informationen gehen inhaltlich in die Berechnungen ein.
Bei thermodynamischen Systemen ist eine wesentliche Informationsgröße die Entropie. Sie gibt die Informationsmenge an, die bei den Berechnungen nicht im einzelnen erfaßt wird, die für eine makroskopisch hinreichend genaue Beschreibung nicht erfaßt zu werden braucht und die aus objektiven Gründen auch nicht erfaßt werden kann.
Auf Information und Informationsübertragung stützen sich auch die Beziehungen zwischen der Realität und dem menschlichen Denken. Diese gehören zweifellos nicht mehr zur Physik, wenn man nicht alle Grenzen zwischen den einzelnen Wissenschaften verwischen will. Der Informationsbegriff ist offensichtlich von wesentlich allgemeinerer Bedeutung als der Energiebegriff. Das erkennt man auch aus seiner Rolle in der Mathematik und den Sprachwissenschaften. Schon ehe die Beziehungen zwischen Entropie und Information bekannt waren, charakterisierte Robert Emden das Verhältnis zur Energie (nach Sommerfeld [7]) so: „Als Student las ich mit Vorteil ein kleines Buch von F. Wald: Die Herrin der Welt und ihr Schatten. Damit waren Energie und Entropie gemeint. Mit zunehmender Einsicht scheinen mir die beiden ihre Plätze gewechselt zu haben.
In der riesigen Fabrik der Naturprozesse nimmt das Entropieprinzip die Stelle des Direktors ein, denn es schreibt die Art und den Ablauf des ganzen Geschäftsganges vor.
Das Energieprinzip spielt nur die Rolle des Buchhalters, indem es Einnahmen und Ausgaben ins Gleichgewicht bringt.“ Diese Sätze kann man heute unverändert ganz allgemein auf die Beziehungen zwischen Information und Energie anwenden. Da die Bedeutung der Information auch außerhalb der Physik so groß ist, kann leicht der Eindruck entstehen, daß die Energie in die Physik gehört, und die Information der Mathematik, der Kybernetik und anderen Gebieten zuzuordnen sei. Um dem entgegenzutreten, habe ich hier die Gleichrangigkeit von Energie und Information im Rahmen der Physik so stark herausgestrichen.
Zum Abschluß möchte ich eine Bemerkung machen, die sich daraus ergibt, daß die Information auch eine physikalische Größe ist: Die Beziehungen zwischen dem menschlichen Denken und der Umwelt erscheinen uns zunächst als reine Informationsbeziehungen. Das menschliche Gehirn ist aber ein Teil der Realität, in dem auch die Gesetze der Physik gültig sind. Diese besagen, daß ein System mit endlich großer Masse und Energie nur endlich viele unterschiedliche Zustände annehmen kann. Das ist eine Aussage der Quantentheorie, die auch die Bestimmung der absoluten Entropie thermo- dynamischer Systeme ermöglicht. Durch die Anzahl der möglichen unterschiedlichen Zustände ist aber eine Schranke für die Informationsmenge gegeben, die im System gespeichert werden kann. Damit sind der Abbildung der Umwelt im menschlichen Gehirn objektive Grenzen gesetzt.
In der Mathematik gibt es Mengen, die umkehrbar eindeutig auf echte Teilmengen abgebildet werden können, z. B. die abzählbaren Mengen und die Kontinua. Eine derartige Abbildung der Umwelt auf das Gehirn als Teilsystem ist nicht möglich, auch nicht asymptotisch bei einer genügend langen Entwicklung. Diese Aussage gilt unabhängig davon, wie die Gesetze und Fakten verschlüsselt werden. Es ist also im Prinzip niemals möglich, die zukünftige Entwicklung auf irgendeinem Gebiet oder das Verhalten einer Maschine unter den Bedingungen des praktischen Einsatzes mit absoluter Sicherheit vorauszusagen. Durch die Unterscheidung von wesentlichen und unwesentlichen Zusammenhängen und die Einführung des Begriffs Zufall hat es der Mensch verstanden, trotz des Bestehens dieser objektiven Schranke in Wissenschaft und Technik große Fortschritte zu erzielen.
Literatur
[1] Informacija i upravlenie – filosofsko-metodologiceskie aspekty, Red. L. G. Antipenko und V. I. Kremjanskij, AN
SSSR, Institut Filosofii. Moskau: Nauka 1985
[2] Eucken, A., Lehrbuch der chemischen Physik, II. Band, I. Teilbd., Leipzig 1943
[3] Shannon, C., A mathematical theory of communication. Bell Systems Tech. J. 27 (1948) 379 – 423, 623 – 656
[4] Tribus, M., Information Theory as the Basis for Thermostatics and Thermodynamics. J. Appl. Mech. 28 (1961)1-8
[5] Lenk, R., Einführung in die Statistische Mechanik. Berlin: VEB Deutscher Verlag der Wissenschaften 1978
[6] Ebeling, W., Strukturbildung bei irreversiblen Prozessen. Leipzig 1976
[7] Sommerfeld, A., Vorlesungen über theoretische Physik, Band V, Thermodynamik und Statistik. Leipzig 1962
Anhang: Elementare Betrachtungen zu Information, Entropie und Kodierung
Information benötigt man, um sich Gewißheit in einer unklaren Situation zu verschaffen. Die
notwendige Informationsmenge hängt von der Anzahl der zur Auswahl stehenden Möglichkeiten ab.
Als Maß für die Informationsmenge dient die Feststellung, wie viele Fragen mit „ja“ oder „nein“
beantwortet werden müssen, damit man Gewißheit erhält. Jede solche Antwort hat den
Informationswert 1 Bit.
Beispiel 1
Information über das Ergebnis einer Prüfung. Es gibt 2 Möglichkeiten: „bestanden“ und
„nicht bestanden“. Auf die Frage: „Bestanden?“ gibt eine Antwort „ja“ oder „nein“ Gewißheit. Es ist
die Information von 1 Bit erforderlich.
Beispiel 2
Aus einem Spiel von 32 unterschiedlichen Spielkarten wird eine verdeckt gezogen. Wieviele Fragen müssen mit „ja“ oder „nein“ beantwortet werden, damit man weiß, welche Karte es ist?
Besteht das Spiel aus 4 x 8 Karten der Werte 7 8 9 10 B D K A mit den Farben Herz, Karo, Pik und Kreuz, so braucht man z. B. 2 Fragen zur Bestimmung der Farbe und weitere 3 Fragen zur Bestimmung des Werts der Karte. Die Beispiele lassen leicht erkennen, daß man für die Auswahl aus N Möglichkeiten log2N = H Bit Information benötigt. Das ist die untere Grenze. Im allgemeinen ist der Logarithmus nicht ganzzahlig. Man kann natürlich keine halben Fragen stellen; daher ist es nicht immer möglich, die Fragen so zu formulieren, daß man diese Grenze erreicht.
Beispiel 3
5 Gegenstände sollen nach ihrem Gewicht geordnet werden. Es gibt 5! = 120 Möglichkeiten. log2120 = 6,907. Man sollte daher mit 7 Fragen auskommen (z. B. Wägungen zur Feststellung, welcher der schwerere von 2 Gegenständen ist). Tatsächlich sind im ungünstigsten Falle 8 Vergleichswägungen nötig. Betrachtet man alle 120 möglichen Fälle, so benötigt man in 16 Fällen 6 Vergleiche, in 56 Fällen 7 und in 48 Fällen 8 Verg:leiche. Auch der Durchschnitt, 7,267, liegt noch über dem theoretischen Wert. Nun gibt es aber Situationen, bei denen zwar viele Möglichkeiten bestehen, in denen aber die Ungewißheit gar nicht so groß ist, weil die Wahrscheinlichkeiten für das Eintreffen der verschiedenen Möglichkeiten sehr unterschiedlich sind. Auch dieser Sachverhalt wird durch die Informationstheorie erfaßt, und man kann tatsächlich die Verminderung der Ungewißheit infolge ungleicher Wahrscheinlichkeiten quantitativ bestimmen. Wir betrachten wieder ein einfaches Beispiel. Es gäbe für ein Ereignis 8 Möglichkeiten, die mit den Wahrscheinlichkeiten bzw. relativen Häufigkeiten pi, i = 1,…,8 erwartet werden können bzw. auftreten:
i pi
1 1/2 #################################
2 1/4 ##############
3 1/8 #######
4 1/16 ###
5 1/64 #
6 1/64 #
7 1/64 #
8 1/64 #
Um aus 8 Möglichkeiten eine zu bestimmen, sind log2 8 = 3 Bit erforderlich. Mit 3 Bit kann man die
8 Fälle z. B. so kodieren, wie das im nachfolgend angegebenen Code A gezeigt ist:
| Code A 3 bit Code | Code B variable Code | Wahrschein-lichkeit p | Bit | p*Bit | |
| 1 | 000 | 0 | 1/2 | 1 | 0,5 |
| 2 | 001 | 10 | 1/4 | 2 | 0,5 |
| 3 | 010 | 110 | 1/8 | 3 | 0,375 |
| 4 | 011 | 1110 | 1/16 | 4 | 0,25 |
| 5 | 100 | 111100 | 1/64 | 6 | 0,09375 |
| 6 | 101 | 111101 | 1/64 | 6 | 0,09375 |
| 7 | 110 | 111110 | 1/64 | 6 | 0,09375 |
| 8 | 111 | 111111 | 1/64 | 6 | 0,09375 |
| Summe | 2 |
Der Code B sieht zwar auf den ersten Blick ungünstiger aus, weil man bei ihm bis zu 6 Bit benötigt, um einen Fall zu bestimmen. Treten aber viele Ereignisse ein – in einem anderen Fall hätte die Betrachtung der Wahrscheinlichkeiten gar keinen Sinn – so erkennt man, daß man bei dem Code B im Mittel (Durchschnitt) nicht 3, sondern nur 2 Bit je Ereignis benötigt. Die Ungewißheit in der angegebenen Situation ist also quantitativ ebenso groß wie bei 4 gleichwahrscheinlichen Möglichkeiten. Allgemein berechnet sich die Ungewißheit in Bit bei ungleichen Wahrscheinlichkeiten der unterschiedlichen Ereignisse nach der Formel
\[H=-\sum_i^{ }p_i*\log_2p_i\]
Das ist die Shannonsche Entropie, ein Maß für die Ungewißheit und zugleich für die im Mittel erforderliche Informationsmenge zur Kennzeichnung eines Ereignisses bei optimaler Kodierung.