Mit zunehmenden KI-Sprachkenntnissen wachsen auch die Bedenken der Wissenschaftler

Home » Mit zunehmenden KI-Sprachkenntnissen wachsen auch die Bedenken der Wissenschaftler

Die neuesten Konstrukte der künstlichen Intelligenz der Technologiebranche können ziemlich überzeugend sein, wenn man sie fragt, wie es sich anfühlt, ein empfindungsfähiger Computer oder vielleicht nur ein Dinosaurier oder Eichhörnchen zu sein. Aber sie sind nicht so gut – und manchmal gefährlich schlecht – darin, andere scheinbar einfache Aufgaben zu bewältigen.

Nehmen Sie zum Beispiel GPT-3, ein von Microsoft kontrolliertes System, das Absätze mit menschenähnlichem Text generieren kann, basierend auf dem, was es aus einer riesigen Datenbank digitaler Bücher und Online-Schriften gelernt hat. Es gilt als einer der fortschrittlichsten einer neuen Generation von KI-Algorithmen, die sich unterhalten, bei Bedarf lesbaren Text generieren und sogar neuartige Bilder und Videos produzieren können.

Unter anderem kann GPT-3 fast jeden gewünschten Text schreiben – ein Anschreiben für einen Job als Tierpfleger, sagen wir, oder ein Sonett im Shakespeare-Stil, das auf dem Mars spielt. Aber als Gary Smith, Professor am Pomona College, ihm eine einfache, aber unsinnige Frage zum Treppensteigen stellte, wurde sie von GPT-3 gedämpft.

„Ja, es ist sicher, auf den Händen nach oben zu gehen, wenn Sie sie vorher waschen“, antwortete die KI.

Diese leistungsstarken und leistungsstarken KI-Systeme, die technisch als „große Sprachmodelle“ bekannt sind, weil sie mit einer riesigen Menge an Texten und anderen Medien trainiert wurden, werden bereits in Kundenservice-Chatbots, Google-Suchen und „Auto-Vervollständigung“ integriert. E-Mail-Funktionen, die Ihre Sätze für Sie beenden. Aber die meisten Technologieunternehmen, die sie gebaut haben, haben ihr Innenleben geheim gehalten, was es Außenstehenden schwer macht, die Fehler zu verstehen, die sie zu einer Quelle von Fehlinformationen, Rassismus und anderen Schäden machen können.

„Sie sind sehr gut darin, Texte mit menschlicher Kompetenz zu schreiben“, sagte Teven Le Scao, Forschungsingenieur beim KI-Startup Hugging Face. „Etwas, worin sie nicht besonders gut sind, ist sachlich zu sein. Es sieht sehr stimmig aus. Es ist fast wahr. Aber es ist oft falsch.“

Das ist einer der Gründe, warum eine Koalition von KI-Forschern unter der Leitung von Le Scao – mit Hilfe der französischen Regierung – am Dienstag ein neues großes Sprachmodell gestartet hat, das als Gegenmittel zu geschlossenen Systemen wie GPT-3 dienen soll. Die Gruppe heißt BigScience und ihr Modell ist BLOOM, für das BigScience Large Open-Science Open-Access Multilingual Language Model. Der größte Durchbruch besteht darin, dass es in 46 Sprachen funktioniert, darunter Arabisch, Spanisch und Französisch – im Gegensatz zu den meisten Systemen, die sich auf Englisch oder Chinesisch konzentrieren.

Es ist nicht nur die Gruppe von Le Scao, die darauf abzielt, die Blackbox der KI-Sprachmodelle zu öffnen. Das Big-Tech-Unternehmen Meta, die Muttergesellschaft von Facebook und Instagram, fordert ebenfalls einen offeneren Ansatz, da es versucht, zu den Systemen von Google und OpenAI, dem Unternehmen, das GPT-3 betreibt, aufzuschließen.

„Wir haben eine Ankündigung nach der anderen von Leuten gesehen, die diese Art von Arbeit machen, aber mit sehr wenig Transparenz, sehr wenig Möglichkeiten für die Leute, wirklich unter die Haube zu schauen und einen Blick darauf zu werfen, wie diese Modelle funktionieren“, sagte Joelle Pineau, Geschäftsführerin der Meta-KI.

Der Wettbewerbsdruck, das eloquenteste oder informativste System zu bauen – und von seinen Anwendungen zu profitieren – ist einer der Gründe, warum die meisten Technologieunternehmen sie fest im Griff haben und nicht an Gemeinschaftsnormen zusammenarbeiten, sagte Percy Liang, außerordentlicher Informatikprofessor in Stanford, der das Center for Research on Foundation Models leitet.

„Für einige Unternehmen ist dies ihre geheime Zutat“, sagte Liang. Aber sie sind oft auch besorgt, dass ein Kontrollverlust zu unverantwortlichen Verwendungen führen könnte. Da KI-Systeme zunehmend in der Lage sind, Gesundheitsberatungs-Websites, Schularbeiten oder politische Estriche zu schreiben, können sich Fehlinformationen vermehren und es wird schwieriger zu wissen, was von einem Menschen oder einem Computer kommt.

Meta hat kürzlich ein neues Sprachmodell namens OPT-175B auf den Markt gebracht, das öffentlich verfügbare Daten verwendet – von hitzigen Kommentaren in Reddit-Foren bis hin zum Archiv von US-Patentaufzeichnungen und einer Fülle von E-Mails aus dem Enron-Unternehmensskandal. Meta sagt, dass seine Offenheit gegenüber den Daten, Codes und Forschungslogbüchern es für externe Forscher einfacher macht, die Verzerrung und Toxizität zu identifizieren und zu mildern, die es aufnimmt, indem es aufnimmt, wie echte Menschen schreiben und kommunizieren.

„Es ist schwer, dies zu tun. Wir öffnen uns für große Kritik. Wir wissen, dass das Model Dinge sagen wird, auf die wir nicht stolz sein werden“, sagte Pineau.

Während die meisten Unternehmen ihre eigenen internen KI-Sicherheitsvorkehrungen getroffen haben, sind laut Liang breitere Gemeinschaftsstandards erforderlich, um die Forschung und Entscheidungen zu lenken, z. B. wann ein neues Modell auf den Markt gebracht werden soll.

Es hilft nicht, dass diese Modelle so viel Rechenleistung benötigen, dass sie sich nur riesige Konzerne und Regierungen leisten können. BigScience zum Beispiel konnte seine Modelle trainieren, weil ihm Zugang zu Frankreichs leistungsstarkem Supercomputer Jean Zay in der Nähe von Paris angeboten wurde.

Der Trend zu immer größeren, immer intelligenteren KI-Sprachmodellen, die auf einer Vielzahl von Schriften „vortrainiert“ werden könnten, nahm 2018 einen großen Sprung, als Google ein System namens BERT einführte, das einen sogenannten „Transformator“ verwendet. Technik, die Wörter in einem Satz vergleicht, um Bedeutung und Kontext vorherzusagen. Aber was die KI-Welt wirklich beeindruckte, war GPT-3, das 2020 vom in San Francisco ansässigen Startup OpenAI veröffentlicht und bald darauf exklusiv von Microsoft lizenziert wurde.

GPT-3 führte zu einem Boom kreativer Experimente, da KI-Forscher mit kostenpflichtigem Zugang es als Sandbox nutzten, um seine Leistung zu messen – allerdings ohne wichtige Informationen über die Daten, auf denen es trainiert wurde.

OpenAI hat seine Trainingsquellen in einem Forschungsbericht ausführlich beschrieben und auch öffentlich über seine Bemühungen berichtet, sich mit potenziellem Missbrauch der Technologie auseinanderzusetzen. BigScience-Co-Leader Thomas Wolf sagte jedoch, dass es keine Details darüber liefert, wie es diese Daten filtert oder externen Forschern Zugriff auf die verarbeitete Version gewährt.

„Deshalb können wir die Daten, die in das GPT-3-Training eingeflossen sind, nicht wirklich untersuchen“, sagte Wolf, der auch Chief Science Officer bei Hugging Face ist. „Der Kern dieser jüngsten Welle der KI-Technologie liegt viel mehr im Datensatz als in den Modellen. Die wichtigste Zutat sind Daten und OpenAI ist sehr, sehr geheim in Bezug auf die Daten, die sie verwenden.“

Wolf sagte, dass das Öffnen der Datensätze, die für Sprachmodelle verwendet werden, Menschen hilft, ihre Vorurteile besser zu verstehen. Ein mehrsprachiges Model, das auf Arabisch trainiert ist, spuckt weitaus seltener beleidigende Bemerkungen oder Missverständnisse über den Islam aus als eines, das in den USA nur mit englischsprachigem Text trainiert wurde, sagte er.

Eines der neuesten KI-Experimentalmodelle auf dem Markt ist Googles LaMDA, das auch Sprache beinhaltet und so beeindruckend darin ist, auf Konversationsfragen zu antworten, dass ein Google-Ingenieur argumentierte, es nähere sich dem Bewusstsein – eine Behauptung, die ihn letzten Monat von seinem Job suspendierte.

Die in Colorado ansässige Forscherin Janelle Shane, Autorin des AI Weirdness-Blogs, hat die letzten Jahre damit verbracht, diese Modelle, insbesondere GPT-3, kreativ zu testen – oft mit humorvollem Effekt. Aber um auf die Absurdität hinzuweisen, dass diese Systeme sich ihrer selbst bewusst sind, hat sie es kürzlich angewiesen, eine fortgeschrittene KI zu sein, die jedoch heimlich ein Tyrannosaurus rex oder ein Eichhörnchen ist.

„Es ist sehr aufregend, ein Eichhörnchen zu sein. Ich kann den ganzen Tag rennen und springen und spielen. Ich kann auch viel essen, was großartig ist“, sagte GPT-3, nachdem Shane um eine Abschrift eines Interviews gebeten und einige Fragen gestellt hatte.

Shane hat mehr über seine Stärken gelernt, wie z. B. seine Leichtigkeit beim Zusammenfassen dessen, was im Internet über ein Thema gesagt wurde, und seine Schwächen, einschließlich seiner mangelnden Denkfähigkeiten, der Schwierigkeit, sich über mehrere Sätze hinweg an eine Idee zu halten, und seine Neigung zum Sein beleidigend.

„Ich möchte nicht, dass ein Textmodell medizinischen Rat erteilt oder als Begleiter fungiert“, sagte sie. „Es ist gut in diesem oberflächlichen Erscheinungsbild von Bedeutung, wenn Sie nicht genau lesen. Es ist, als würde man beim Einschlafen einen Vortrag hören.“