Eine kurze Geschichte der Suchmaschine

16. September 2021

Hotels, Reisen oder alte Schulfreundinnen und -freunde finden, neue Kochrezepte oder schnelle Lösungen für Probleme mit dem Rechner: In vordigitalen Zeiten mussten wir dafür zum Reisebüro pilgern oder uns durch den halben Bekanntenkreis telefonieren. Heute finden wir schnelle Antworten im Netz. Drei bis vier Suchanfragen tippt der Durchschnittsmensch täglich in die Eingabefelder von Google, Bing und Co. Wie die Suchdienste entstanden sind und welche Evolutionsstufen sie durchlaufen haben, erzählen wir in unserer kurzen Geschichte der Suchmaschine.

„Wissen ist Macht“: Diese Redensart geht auf den englischen Philosophen Francis Bacon zurück. Was der Vorvater der Aufklärung damit sagen wollte: Erst ausreichendes Wissen versetzt uns Menschen in die Lage, die Dinge der Welt tatsächlich zu verstehen und einzuordnen. Allerdings helfen die größten Wissensschätze wenig, wenn man nicht weiß, wie und wo man sie finden kann. Seit Menschen Bücher in Bibliotheken sammeln, entwickeln sie daher auch Methoden der Katalogisierung. Sämtliche Texte, Bücher und Themen können die analogen Karteikarten und Zettelkataloge freilich nie umfassen. Kein Wunder also, dass die Idee einer Datenbank für das gesammelte Wissen der Welt die Menschheit durch ihre Geschichte begleitet.

1945 veröffentlicht der US-amerikanische Ingenieur Vannevar Bush einen Artikel, in dem er das Konzept einer universalen Wissensmaschine entwirft. Der „Memex“ – kurz für „Memory Extender“, also „Erinnerungsverlängerer“ – soll gewaltige Textmengen in einem kleinen Büromöbel speichern, die Informationssuche mechanisieren und stark beschleunigen. Bush legt damit einen theoretischen Grundstein für die heutigen Suchmaschinen. Praktikabel ist seine Idee nur begrenzt, da sie auf analogen Mikrofilm setzt, der mühsam mit dem menschlichen Auge auf Begriffe und Schlagwörter durchsucht werden muss.

In den 1980er-Jahren wird Wissen zunehmend digitalisiert. Mehr und mehr Universitäten in den USA vernetzen ihre Rechner – der Vorläufer des Internets, wie wir es kennen. Welche interessanten Dateien sie auf welchem Computer finden können, erfahren die Nutzenden aber eigentlich nur über Mundpropaganda. Alan Emtage, Peter Deutsch und Bill Heelan von der McGill-Universität in Montreal wollen das ändern. Ihre Idee: eine zentrale Datenbank, in der die Dateien der verteilten Rechner zu finden sind. Im November 1990 starten sie die erste Suchmaschine der Welt. Sie hört auf den Namen „Archie“ – abgeleitet vom englischen „archive“, also „archivieren“. Archie durchforstet Dateien und Ordner in sogenannten FTP-Verzeichnissen, Fließtexte allerdings noch nicht. Außerdem beschränkt sich die Suche auf die Namen der Dateien und Ordner. Will man über Archie fündig werden, muss man daher möglichst schon einen Teil des Dateinamens kennen. Darüber hinaus ist der Suchbefehl auf acht Zeichen beschränkt, zwei Zeichen weniger, als das Wort „Suchbefehl“ lang ist.

Ein Jahr nach Archie wird an der Universität von Minnesota „Gopher“ entwickelt – ein Netzwerkprotokoll zum Abrufen von Dokumenten im Internet. In seinem Aufbau ähnelt Gopher dem Prinzip des World Wide Web, das der Physiker Tim Berners-Lee 1989 erstmals vorgestellt hat. 1992 entsteht an der Universität in Reno, Nevada, die erste Suchmaschine für Gopher: „Veronica“ indexiert die Titel von Dateien und Verzeichnissen aller Gopher-Server. Sie generiert also ein virtuelles Verzeichnis, in dem Begriffe gespeichert werden und zugleich Verweise darauf, welche Dateinamen diese Begriffe enthalten. Der entscheidende Fortschritt zu Archie: Die Titel können aus ganzen Sätzen bestehen, sind also nicht länger auf den Dateinamen beschränkt. Und man kann seine Suche bereits mit den sogenannten Booleschen Operatoren „und“, „oder“ und „nicht“ eingrenzen. Wer sich also für die Sportart Golf interessiert, hätte über den Zusatz „NICHTAuto“ andere Treffer ausschließen können.

Im April 1993 entlässt das CERN-Institut die World-Wide-Web-Technologie offiziell in die Gemeinfreiheit. Damit darf jede und jeder dieses System künftig kostenfrei nutzen und weiterentwickeln. Im Juni desselben Jahres entsteht der „World Wide Web Wanderer“, der das Wachstum des Internets messen soll. Der „Wanderer“ setzt dazu erstmals einen Searchbot ein – ein automatisiertes Programm, das bald die Basis nahezu aller Suchmaschinen bilden wird.

Searchbots werden heute auch als Webcrawler oder Spider bezeichnet: Die digitalen Krabbeltierchen wuseln von Link zu Link und von einer Webseite zur nächsten. Sie analysieren ihren Inhalt und Quellcode auf bestimmte Begriffe und legen dann einen Suchindex an, der bei späteren Suchanfragen kontaktiert wird. Die automatisierten Informationssammler machen das nicht ein einziges Mal, sondern immer wieder. Dadurch wird der Suchindex kontinuierlich gepflegt und auf den gegenwärtigen Stand gebracht: Neue Webseiten kommen hinzu, nicht mehr existente werden gelöscht, geänderte aktualisiert.

Einen ihrer Namen verdanken die findigen Programme dem „WebCrawler“, der ersten öffentlichen Suchmaschine mit Volltextindex. Sie durchsucht also komplette Dokumente nach Suchbegriffen und beschränkt sich nicht mehr auf die Titel. Am 20. April 1994 geht der WebCrawler mit einem Suchindex von über 4.000 Internetseiten online. Sieben Monate später verbucht er seine millionste Suchanfrage. Sie lautet: „Nuclear Weapons Design and Research“, wie der Entwickler der Suchmaschine Brian Pinkerton später erzählt.

Während das World Wide Web wächst und wächst, schießen auch immer neue Suchmaschinen aus dem Boden. 1994 wird Yahoo im Umfeld der kalifornischen Stanford-Universität entwickelt. David Filo und Jerry Yang setzen anfangs auf einen von Hand erstellten Katalog und sortieren die darin aufgenommenen Webseiten in Kategorien ein; das Webcrawler-Prinzip wird Yahoo erst später für sich entdecken.

Im April 1995 geht Lycos online. Die Suchmaschine mit der Sonnenfinsternis im Logo verfügt über einen Algorithmus, der die Häufigkeit der Suchbegriffe in einem Dokument ermittelt und dabei auch die Nähe der Wörter untereinander bewertet. Damit steigt die Chance für die Nutzenden, tatsächlich auf relevante Treffer zu stoßen. Im Dezember 1995 bringt der Computerhersteller DEC AltaVista ins Netz. Die Suchmaschine soll zunächst vor allem potenziellen Kundinnen und Kunden die Leistungsfähigkeit der eigenen Server demonstrieren. Doch AltaVista entwickelt sich bald zu einer der beliebtesten Suchmaschinen im jungen WWW. Nicht zuletzt dank eines besonders leistungsfähigen Crawlers namens „Scooter“, der deutlich mehr Webseiten indexieren kann als die meisten Konkurrenten.

Im folgenden Jahr, 1996, starten Larry Page und Sergey Brin an der Stanford-Universität das Projekt „BackRub“. Ihre Suchmaschine soll bessere Ergebnisse liefern als bisherige, indem sie die Relevanz von Webseiten auf neue Weise ermittelt. Am 4. September 1998 beantragen Page und Brin die Firmengründung von Google – ein Wortspiel mit „googol“, einem mathematischen Begriff für eine Eins mit hundert Nullen. Am 21. September 1999 verlässt ihre Suchmaschine offiziell die Betaphase.

Lycos ist zu dieser Zeit die meistbesuchte und meistbenutzte Webseite der Welt. Auf AltaVista kann man neben Webseiten bereits auch Bilder, Videos und Audio suchen und finden, Karten und ein Übersetzungstool gehören ebenfalls zum Angebot. Kostenlose E-Mail-Konten bekommt man bei nahezu jedem Suchmaschinenbetreiber. Der Markt scheint weitestgehend besetzt. Doch der Nachzügler mit den zwei O im Namen erfreut sich bald großer Beliebtheit. Denn während die Platzhirsche ihre Startseiten oft mit Nachrichtenangeboten und bunten Werbebannern pflastern, gibt sich Google aufgeräumt und übersichtlich. Vor allem aber spuckt die Suchmaschine in überdurchschnittlich kurzer Zeit außerordentlich gute Ergebnisse aus.

Grund dafür ist der PageRank-Algorithmus, den Page und Brin zusammen entwickelt haben. Er sorgt dafür, dass neben dem Inhalt einer Webseite auch deren Popularität in das Ranking der Suchergebnisse einfließt – indem er die Zahl und die Qualität der Verlinkungen zu der Seite ermittelt. Der Gedanke dahinter: Je öfter Menschen auf eine Webseite verlinken, desto relevanter ist sie für ein Thema und damit auch für andere Nutzende, die sich für ähnliche Inhalte interessieren. Neben der Quantität der Links spielt dabei auch deren Qualität eine Rolle. Eine Seite wird besser bewertet, wenn andere wichtige – also linkstarke – Seiten auf sie verlinken. Ein Link beispielsweise von einem großen Newsportal wie der New York Times fällt bei der Bewertung der Relevanz also deutlich mehr ins Gewicht als ein Link von Heidishaekelhimmel.de. Ein Prinzip, das man auch aus der Wissenschaft kennt: Wer von namhaften Forscherinnen und Forschern zitiert wird, hat sicher seinerseits Wichtiges zu einem Thema zu sagen. Googles neue Algorithmen spucken dadurch deutlich weniger Spam und obskure Treffer aus als die der damaligen Suchmaschinenschwergewichte.

Bereits ein Jahr nach dem offiziellen Launch ist Google mit über einer Milliarde Webdokumenten die größte Suchmaschine der Welt. Und wird bald zum Synonym für die Internetsuche. 2004 nimmt der Duden das Verb „googeln“ in sein Wörterbuch auf. Im selben Jahr geht Microsoft mit einem Update für seine Suchmaschine „MSN Search“ in die Betaphase. Hatte das Unternehmen bislang seine Suchergebnisse von Mitbewerbern wie AltaVista bezogen, will es seine Stellung nun mit einer eigenen Search-Engine stärken. MSN, der Vorläufer des späteren Bing, hat zu dieser Zeit in den USA einen Marktanteil von 14 Prozent. Google beantwortet dort bereits rund 43 Prozent der Suchanfragen.

Diesen Vorsprung wird Google in den kommenden Jahren weiter ausbauen. Einerseits geschieht das durch eine kontinuierliche Verbesserung und Verfeinerung der Suchfunktion: 2001 kommt die „did you mean“-Funktion dazu, die bei vermeintlich falsch geschriebenen Begriffen Ergebnisse für die eigentlich gesuchten Schlagwörter angibt. Seit 2002 kann die Suchmaschine auch Synonyme für Suchbegriffe anzeigen. 2004 folgt die Autovervollständigung, mit der Nutzende ihre Suche durch häufig gestellte Anfragen ergänzen können. Andererseits entwickelt sich Google konsequent von der einfachen Suche nach Webseiten hin zu einer universellen Anlaufstelle für sämtliche Online-Inhalte.

2001 startet die Google-Bildersuche. Anlass ist angeblich ein Foto von Jennifer Lopez in einem freizügigen Kleid bei der Grammy-Verleihung, das die Suchanfragen in die Höhe jagt – ohne dass Google das passende Bild zu den Anfragen liefern kann. Bis 2006 kommt die gezielte Suche nach News, einzelnen Foren und einem Preisvergleich dazu. 2005 wird Google Maps als Desktop-Version in den USA gestartet und vier Jahre später zum vollwertigen Navigationssystem. Heute ist Maps die wohl meistgenutzte Navi-App und zählt zu den weltweit meistgenutzten Apps überhaupt. Auch mit kostenfreien Angeboten wie dem E-Mail-Dienst Gmail, dem Cloud-Speicher Drive und Kollaborationstools wie Google Docs macht sich Google im Leben vieler Nutzerinnen und Nutzer bald unverzichtbar.

Finanziert werden die kostenfreien Angebote mit Werbeeinnahmen. Die Weichen dafür stellt Google bereits im Jahr 2000. Zwei Jahre zuvor hatten Page und Brin eine kommerzielle Nutzung von Suchmaschinen in einem Stanford-Papier noch scharf kritisiert. Nun kommt die Kehrtwende: Google schaltet fortan Werbung, beginnt damit, Werbeplätze an bestimmte Suchbegriffe zu koppeln und Anzeigen so zielgruppengenau einzublenden. Die Daten der Nutzenden zu sammeln, um sie mit möglichst passgenauer personalisierter Werbung zu bespielen, wird zunehmend zu Googles Geschäftsmodell – und zum größten Stein des Anstoßes.

Als Gegenentwurf zum großen Datensammler formieren sich in den folgenden Jahren alternative Suchmaschinenprojekte. „Startpage“ macht 2006 den Anfang. Die Suchmaschine erfasst im Gegensatz zu Google, Bing oder Yahoo keine IP-Adressen und identifiziert die Nutzenden nicht über Cookies, wie ihr auch die Verbraucherschützer der Stiftung Warentest 2019 offiziell bescheinigen. Ihre guten Suchergebnisse wiederum verdankt sie den Algorithmen des großen Bruders aus Mountain View. Die Suchanfragen der Nutzenden werden nämlich anonymisiert an Google weitergeleitet. Statt deren Daten zu speichern, auszuwerten und zu vermarkten, finanziert sich Startpage über nicht personalisierte Werbung. Auch das 2008 gestartete „DuckDuckGo“ lebt von nicht personalisierter Werbung und verzichtet auf Tracking und Datenspeicherung. Anders als Startpage setzt die Suchmaschine mit der Ente technisch dabei auf ein Hybridmodell. Die Suchergebnisse speisen sich aus unterschiedlichen Quellen wie Wikipedia, großen Suchmaschinen wie Bing und einem eigenen Webcrawler namens DuckDuckBot.

Am 11. Januar 2021 überschreitet DuckDuckGo erstmals 100 Millionen Suchanfragen pro Tag. Zum Vergleich: Bei Google sind es rund 228 Millionen – pro Stunde. Tagtäglich bearbeitet der Suchmaschinenriese circa 5,5 Milliarden Anfragen. Rund 15 Prozent davon sind dem Unternehmen zufolge erstmalige Suchanfragen. Über 800 Millionen Mal am Tag haben also irgendwo auf der Welt Menschen eine Frage, die in dieser Form zuvor noch nicht bei Google gestellt wurde.

Die meisten kleinen Suchdienste beziehen ihre Ergebnisse heute bei Bing oder Google. Denn Entwicklung und Betrieb einer Suchmaschine erfordert enorme Mittel. Unter der Oberfläche der einstigen Platzhirsche Yahoo und Lycos arbeitet mittlerweile Bing. Auch die deutsche Suchmaschine „Ecosia“ setzt auf die Technologie von Microsoft. Was die großen und die kleineren Suchdienste außerdem verbindet: Nahezu alle liefern zunehmend direkte Antworten auf den Ergebnisseiten. Wer wissen will, wie morgen das Wetter in Braunschweig wird, wie spät es in Tokio ist, wann Angela Merkel Geburtstag hat oder wie man einen Fahrradschlauch wechselt, muss dafür meist nicht mehr auf einen Link klicken. Suchmaschinen sind mehr und mehr zu Antwortautomaten geworden.