ChatGPT hat eine MBA-Prüfung bestanden. Was kommt als nächstes?

Die Wharton-Professoren Christian Terwiesch und Ethan Mollick äußern sich zu ChatGPT und warum die umstrittene Software ein grenzenloses Potenzial zur Verbesserung von Bildung, Wirtschaft und einer Reihe von Branchen hat.

Wharton-Professor Christian Terwiesch sagte, er habe sich in ChatGPT „verliebt“, nachdem er die Antwort auf eine Prüfungsfrage in seinem Betriebsmanagementkurs für Hochschulabsolventen gelesen hatte.

Der Professor gab die Frage im Rahmen eines Experiments an den umstrittenen neuen Chatbot weiter, um zu sehen, wie die Software bei einem typischen Test abschneiden würde. Als er aufgefordert wurde, den Engpassprozess in einer hypothetischen Eisenerzfabrik in Lateinamerika zu erklären, hat ChatGPT mit Bravour bestanden.

„Wow! Die Antwort ist nicht nur richtig, sondern auch super erklärt“, schrieb Terwiesch kürzlich weißes Papier über sein Experiment. „Ich sehe keinen Grund, Punkte von dieser Antwort abzuziehen: A+!“

ChatGPT hat Schlagzeilen gemacht, seit es im November von der in San Francisco ansässigen Firma gestartet wurde OpenAI, vor allem, weil es von Schülern verwendet werden kann, um bei Hausaufgaben und Prüfungen zu schummeln. Die Software für künstliche Intelligenz, die OpenAI der Öffentlichkeit zur Verfügung gestellt hat, kann in Sekundenschnelle qualitativ hochwertige schriftliche Antworten auf komplexe Fragen erstellen. Einige öffentliche Schulsysteme, darunter New York und Seattle, haben dies bereits getan die Nutzung untersagt von ChatGPT auf ihren Geräten und Netzwerken.

Plagiatssorgen seien berechtigt, sagte Terwiesch. Aber der Professor, der die Abteilung für Operationen, Informationen und Entscheidungen leitet und als Co-Direktor der fungiert Mack Institut für InnovationsmanagementIn der künstlichen Intelligenz des Chatbots sieht er großes Potenzial. Mit seiner unglaublichen Geschwindigkeit und Genauigkeit kann ChatGPT ein leistungsstarkes Werkzeug sein, um den Lehrprozess zu verbessern, das Lernen individuell anzupassen, das Geschäft effizienter zu gestalten und wertvolle Zeit zu sparen, die von Menschen produktiver genutzt werden könnte.

„Wir haben jetzt neue Technologien im Spiel, und es wäre schade, wenn wir als Gesellschaft nur so gut sein könnten wie vor der Einführung dieser Technologie“, sagte Terwiesch Wharton Business Daily auf SiriusXM. „Das wird groß, und es gibt Grund zu der Annahme, dass wir erst den Anfang gesehen haben.“

Wharton-Professor für Management Ethan Molick teilt diese Überzeugung. In einem Meinungsbeitrag für Harvard Business Review, schrieb er, dass ChatGPT ein „Wendepunkt“ in der künstlichen Intelligenz sei. Die Technologie ist weitaus besser als frühere Iterationen und macht es zu mehr als nur einem cleveren Spielzeug. Eine breite Palette von Menschen und Branchen kann es nutzen, um das Alltägliche zu erobern und sich frei zu machen, um sich auf wichtigere Arbeit und Innovationen zu konzentrieren.

„Das ist ein sehr große Sache“, schrieb Mollick. „Die Unternehmen, die die Bedeutung dieser Änderung verstehen – und zuerst darauf reagieren – werden einen erheblichen Vorteil haben.“

Mollick stellte seinen Bachelor-Studenten in Unternehmertum den Chatbot während eines Unterrichts vor. Bevor der Kurs zu Ende war, benutzte ein Schüler es, um Code für einen Startup-Prototyp zu erstellen, indem er Codebibliotheken verwendete, die er zuvor noch nicht gesehen hatte.

„Sie haben ein vierstündiges Projekt in weniger als einer Stunde abgeschlossen“, schrieb Mollick.

Gut genug, um ein B Minus zu bekommen

Das Whitepaper von Terwiesch hat Anklang gefunden Medienaufmerksamkeit mit seinem faszinierenden Titel „Würde Chat GPT einen Wharton MBA bekommen?“ Die Antwort ist ein klares „Ja“, wobei der Professor dem Chatbot für seine Leistung bei einem von ihm entworfenen Fünf-Fragen-Experiment eine Endnote von B bis B-minus gibt. Während der Bot bei der ersten Frage zu Engpässen Bestnoten erhielt, schnitt er nicht bei jeder Frage so gut ab. Überraschenderweise schnitt es am schlechtesten ab, wenn es mit einer Frage aufgefordert wurde, die einfache mathematische Berechnungen erforderte.

„Bei einigen Problemen war die Mathematik schrecklich“, sagte Terwiesch. „Wenn Sie an Ihren Computer denken, mag er in vielen Dingen dumm und dumm sein, aber zumindest wird er die Mathematik richtig machen. Das war das Gegenteil.“

Seine wichtigsten Erkenntnisse aus dem Experiment sind:

• ChatGPT leistet hervorragende Arbeit bei Fragen zum grundlegenden Betriebsmanagement und zur Prozessanalyse, einschließlich solcher, die auf Fallstudien basieren. Die Antworten sind richtig und die Erklärungen sind ausgezeichnet.
• ChatGPT macht manchmal Fehler bei relativ einfachen Berechnungen in der Mathematik der sechsten Klasse. Diese Fehler können enorm sein.
• Die vorliegende Version ist nicht in der Lage, fortgeschrittenere Fragen zur Prozessanalyse zu behandeln, selbst wenn sie auf ziemlich standardisierten Vorlagen basieren.
• ChatGPT ist bemerkenswert gut darin, seine Antworten als Reaktion auf menschliche Hinweise zu modifizieren. In Fällen, in denen das Problem zunächst nicht mit der richtigen Lösung abgeglichen werden konnte, konnte ChatGPT sich selbst korrigieren, nachdem es einen entsprechenden Hinweis von einem Menschen erhalten hatte. Noch bemerkenswerter scheint es, dass es mit der Zeit lernen kann, sodass der Hinweis in Zukunft nicht mehr benötigt wird.

Terwiesch wollte auch feststellen, ob ChatGPT Prüfungsfragen stellen kann, eine Aufgabe, die er seit 25 Jahren als Professor macht.

„Nach einem Vierteljahrhundert im Job habe ich alle Friseurläden und Restaurants und alle Umgebungen, die man sich vorstellen kann, ausgeschöpft“, sagte er lachend. „Ich war verzweifelt auf der Suche nach kreativen Ratschlägen, also habe ich zwei Experimente durchgeführt.“

Die Software spuckte einige interessante und gut formulierte Fragen aus, die sogar ein bisschen humorvoll waren. Aber Terwiesch sagte, dass sie einer erheblichen Verfeinerung bedürfen, bevor sie für eine Prüfung verwendet werden könnten. Dennoch zeigt es, was mit ChatGPT möglich ist.

„Ich muss noch etwas arbeiten, aber ich habe das Gefühl, dass es selbst im gegenwärtigen Zustand der Welt die Möglichkeit hat, meine Produktivität sowie die Produktivität unserer Schüler zu steigern“, sagte er.

Mollick wiederholte diese Meinung in seinem HBR-Meinungsbeitrag und schrieb, dass Unternehmen Zeit und Ressourcen sparen könnten, indem sie die Technologie verwenden, um schriftliche Mitteilungen für Kunden und Interessengruppen zu erstellen oder maßgeschneiderte Datensätze zu erstellen, und Pädagogen könnten sie verwenden, um einen Lehrplan oder Vorlesungsnotizen zu erstellen.

Aber Mollick warnt davor, dass ChatGPT nicht ohne Probleme und Einschränkungen ist – und es ist sicherlich keine Zauberei.

„Zum einen ist es ein vollendeter Bullshitter, und ich meine das im technischen Sinne“, schrieb er. „Bullshit ist überzeugend klingender Unsinn ohne Wahrheit, und KI ist sehr gut darin, ihn zu erschaffen. Sie können es bitten zu beschreiben, woher wir wissen, dass Dinosaurier eine Zivilisation hatten, und es wird glücklicherweise eine ganze Reihe von Tatsachen erklären, die ziemlich überzeugend sind, genau das. Es ist kein Ersatz für Google. Es weiß buchstäblich nicht, was es nicht weiß, denn es ist tatsächlich überhaupt keine Entität, sondern ein komplexer Algorithmus, der sinnvolle Sätze generiert.“

Zurück ins Klassenzimmer

Trotz der Versprechungen der KI bleiben die Sorgen über Betrug bestehen. Terwiesch sagte, die Besorgnis habe ihn dazu gebracht, tiefer darüber nachzudenken, warum Lehrer überhaupt testen. Er hatte drei Gründe: 1) um eine Fertigkeit zu zertifizieren; 2) um die Lernreise für jeden Schüler individuell anzupassen; und 3) den Schüler dazu zu bringen, sich selbst mit dem Material auseinanderzusetzen und die Fähigkeit zum kritischen Denken zu entwickeln.

ChatGPT und ähnliche Software können bei allen dreien helfen, sagte er, obwohl er Bedenken hinsichtlich des Betrugs teilt und sich der wachsenden Zahl von Pädagogen angeschlossen hat, die seine Verwendung bei Hausaufgaben und Tests verbieten. Er möchte sicherstellen, dass seine Schüler noch grundlegende Kenntnisse in einem Fach haben.

Terwiesch ermutigt Pädagogen und Unternehmensmanager, Möglichkeiten zu erkunden, mit der Software „die Messlatte höher zu legen“. Anstatt das Alte zu optimieren, können Studenten und Arbeitnehmer herausgefordert werden, sich etwas völlig Neues auszudenken.

„Wir werden die Zahnpasta nicht zurück in die Tube bekommen“, sagte er. „Diese Technologie ist da draußen. Es wird nur wachsen. Die Idee, dass wir in die alte Welt zurückkehren könnten, funktioniert nie.“

Dieser Artikel wird mit freundlicher Genehmigung von abgedruckt Wissen@Wharton.