Der Bericht zum KI-Index 2024 hebt hervor, dass die Industrie weiterhin bei der Spitzen-KI-Forschung führend ist. Im Jahr 2023 brachte die Industrie 51 bemerkenswerte maschinelle Lernmodelle hervor, während die Wissenschaft nur 15 beisteuerte. Darüber hinaus gab es 21 bemerkenswerte Modelle, die aus Kooperationen zwischen Industrie und Wissenschaft hervorgingen, was einen neuen Höchststand erreichte.

Dieser Trend, dass die Industrie die Spitzen-KI-Forschung dominiert, nimmt weiter zu. Der Bericht wirft die Frage auf, ob die Regierung stärker in KI-Projekte eingebunden werden sollte, da die führende Rolle des Privatsektors in Zukunft ein besorgniserregendes Ungleichgewicht schaffen könnte.

Darüber hinaus stellt der Bericht fest, dass sich die Zahl der Basismodelle, die 2023 veröffentlicht wurden, im Vergleich zu 2022 verdoppelt hat, wobei 65% dieser neu veröffentlichten Modelle Open-Source sind, gegenüber 44% im Jahr 2022 und 33% im Jahr 2021. Dies deutet auf einen zunehmenden Trend zu Open-Source-KI hin, auch wenn Spitzenmodelle wie GPT-4 und seine Nachfolger weiterhin proprietär bleiben.

Der Bericht zum KI-Index 2024 hebt die wachsende Bedeutung von Open-Source-KI-Modellen hervor. Einige Schlüsselpunkte:

• Im Jahr 2023 waren 65% der 149 neu veröffentlichten Basismodelle Open-Source, gegenüber 44% im Jahr 2022 und 33% im Jahr 2021. Dies zeigt einen klaren Trend hin zu mehr Open-Source-KI-Entwicklung.

• Die Zahl der KI-bezogenen Projekte auf GitHub ist 2023 um scharfe 59,3% gestiegen, von 4 Millionen im Jahr 2022 auf 12,2 Millionen im Jahr 2023. Dieser Boom der Open-Source-Aktivität wurde durch die Veröffentlichung von ChatGPT Ende 2022 angeheizt.

• Während proprietäre Modelle wie GPT-4 und Gemini Ultra in bestimmten Benchmarks nach wie vor führend sind, stellen die Autoren fest, dass Open-Source-Systeme zunehmend aufholen und die KI-Landschaft dominieren.

Dieser Abschnitt untersucht die Leistung von KI-Systemen in einer Vielzahl von Benchmarks im Vergleich zu menschlichen Fähigkeiten. Die Daten zeigen einen zunehmend beeindruckenden Trend, bei dem KI in mehreren Aufgaben die menschliche Leistung übertrifft:

• KI hat die menschliche Leistung bei Benchmarks wie Bildklassifizierung, visueller Logik und Englischverständnis übertroffen.
• KI liegt jedoch bei komplexeren Aufgaben wie wettbewerbsfähiger Mathematik, visuellem Alltagsverständnis und Planung noch hinter Menschen zurück.

Der Trend über diese Benchmarks hinweg deutet darauf hin, dass KI bis 2023 und darüber hinaus die Lücke schnell schließt und in vielen Bereichen sogar die menschliche Grundlinie übertrifft.

Traditionell waren KI-Systeme auf einen bestimmten Bereich beschränkt, wobei Sprachmodelle im Textverständnis glänzten, aber bei der Bildverarbeitung versagten, und umgekehrt. Jüngste Fortschritte haben jedoch zur Entwicklung leistungsfähiger multimodaler Modelle wie Googles Gemini und OpenAIs GPT-4 geführt.

Diese Modelle zeigen bemerkenswerte Flexibilität und können sowohl Bilder als auch Text verarbeiten. Tatsächlich kann Gemini 1.5 Pro sogar Audio verarbeiten. Die Grundlage für die multimodale KI-Leistungsfähigkeit hat sich kontinuierlich erhöht und erreichte 2023 94,04% gegenüber der menschlichen Grundlinie von 89,8%.

Diese Fortschritte in der multimodalen KI haben Forscher dazu veranlasst, anspruchsvollere Benchmarks zu entwickeln, wie z.B. SWE für Programmierung, Heim für Bilderzeugung, MMU für allgemeine Logik und Mocker für moralisches Denken. Diese neuen Benchmarks zielen darauf ab, die Grenzen der KI-Fähigkeiten auszuloten und ihre Einschränkungen aufzudecken.

Der KI-Index-Bericht hebt den rasanten Fortschritt bei spezialisierten KI-Benchmarks über die traditionellen Sprach- und Visionsaufgaben hinaus hervor. Da KI-Systeme weiter voranschreiten, haben Forscher anspruchsvollere und nuanciertere Benchmarks entwickelt, um ihre Fähigkeiten zu bewerten.

Einige wichtige Entwicklungen in diesem Bereich sind:

1. Programmier-Benchmarks: Die Einführung des SWE-Bench, eines neuen Benchmarks zur Bewertung der Programmierfähigkeiten von KI-Modellen. Dieser Benchmark hat Kontroversen ausgelöst, da einige behaupten, die Demo-Ergebnisse seien nicht ganz echt. Viele Open-Source-Projekte haben jedoch beeindruckende Leistungen in dieser anspruchsvollen Aufgabe gezeigt.

2. Logik-Benchmarks: Benchmarks wie HEIM für Bildlogik, MMU für allgemeine Logik und MOCKER für moralisches Denken sind entstanden, um die Grenzen der Logikfähigkeiten von KI auszuloten. Während aktuelle Modelle in diesen Bereichen noch hinter Menschen zurückliegen, deutet der Bericht an, dass Durchbrüche in der Logik möglicherweise bevorstehen, möglicherweise mit der Veröffentlichung von GPT-5 und anderen fortgeschrittenen Modellen.

3. Agenten-Benchmarks: Der Agent Bench, der die Leistung autonomer Agentensysteme in verschiedenen Umgebungen bewertet, zeigt stetige Verbesserungen. KI-Agenten können nun komplexe Spiele wie Minecraft meistern und reale Aufgaben wie Einkaufen und Recherche-Unterstützung effektiver bewältigen.

Einer der Schlüsseltrends, die im Bericht hervorgehoben werden, ist die wachsende Bedeutung der Bewertung von Sprachmodellen durch Menschen. Der Bericht stellt fest, dass die LMS-Chatbot-Arena, die blindes A/B-Testing und Bewertungen durch Menschen zur Leistungsbewertung verschiedener Modelle verwendet, zu einem immer wichtigeren Benchmark wird.

Der Bericht argumentiert, dass dieser Ansatz der Bewertung durch Menschen wertvoll ist, da er die Gesamtleistung und Benutzererfahrung der Modelle bewertet, anstatt sich nur auf bestimmte Testergebnisse zu verlassen. Der Bericht deutet an, dass einige der traditionellen Benchmarks möglicherweise Kontaminierungs- oder Fehlerprobleme hatten, was den Ansatz der Bewertung durch Menschen zuverlässiger macht.

Insbesondere stellt der Bericht fest, dass in der LMS-Chatbot-Arena GPT-4 Turbo derzeit führend ist, auch nach der Veröffentlichung von Claude 3. Dies deutet darauf hin, dass menschliche Nutzer GPT-4 Turbo als effektiver und wünschenswerter empfinden, trotz möglicher Verbesserungen in anderen Modellen.

Der Bericht hebt mehrere wichtige Trends in der Entwicklung von KI-gestützter Musikgenerierung hervor:

1. Verbesserte Leistung bei Musik-Benchmarks: Die Bewertung von Musikgenerierungsmodellen auf etablierten Benchmarks wie MusicCaps zeigt, dass KI-Systeme ihre Fähigkeit zur Erzeugung hochwertiger Musik stetig verbessern. Die proprietären Sprachmodelle übertreffen die Open-Source-Gegenstücke deutlich in diesen Benchmarks.

2. Entstehung fortgeschrittener Musikgenerierungsmodelle: Modelle wie Music-LM und Music-Gen haben beeindruckende Fähigkeiten in der Musikgenerierung demonstriert und den rasanten Fortschritt in diesem Bereich gezeigt. Diese Modelle können nun Musik erzeugen, die zunehmend von menschlich komponierter Musik nicht mehr zu unterscheiden ist.

3. Schließen der Lücke zur menschlich komponierten Musik: Der Bericht stellt fest, dass die Leistung von KI-generierter Musik sich der Qualität und Kreativität menschlich komponierter Musik annähert, wobei der Unterschied immer geringer wird.

Der Bericht hebt mehrere wichtige Überlegungen und Herausforderungen im Zusammenhang mit der verantwortungsvollen Entwicklung und Bereitstellung von KI hervor:

Politische Deepfakes und Desinformation

Der Bericht stellt fest, dass politische Deepfakes zunehmend einfach zu erstellen und schwer zu erkennen sind. KI-Systeme können überzeugende gefälschte Inhalte wie Bilder, Videos und Text erstellen, die zur Verbreitung von Desinformation und Beeinflussung der öffentlichen Meinung verwendet werden können.

Mangel an Transparenz bei Basismodellen

Der Bericht erklärt, dass KI-Entwickler, insbesondere diejenigen, die an großen Basismodellen arbeiten, oft an der Offenlegung von Trainingsdaten und -methoden mangeln. Dieser Mangel an Offenheit behindert die Bemühungen, die Robustheit und Sicherheit dieser KI-Systeme zu verstehen.

Schwierigkeit bei der Bewertung existenzieller Risiken

Der Bericht erkennt die Herausforderung an, wissenschaftlich fundierte Behauptungen über langfristige existenzielle KI-Risiken von spekulativeren Bedenken zu unterscheiden. Die greifbare Natur der kurzfristigen Risiken steht im Kontrast zur theoretischen Natur möglicher langfristiger Bedrohungen, was die Priorisierung und Bewältigung dieser Probleme erschwert.

Der Bericht zum KI-Index 2024 der Stanford University bietet eine umfassende und aufschlussreiche Analyse der neuesten Trends im Bereich der künstlichen Intelligenz. Einige Schlüsselergebnisse des Berichts sind:

1. KI übertrifft Menschen in einigen Aufgaben: KI-Systeme haben die menschliche Leistung in mehreren Benchmarks wie Bildklassifizierung, visuelle Logik und Sprachverständnis übertroffen. Sie liegen jedoch bei komplexeren Aufgaben wie fortgeschrittener Mathematik und Alltagslogik noch hinter Menschen zurück.

2. Industrie dominiert die Spitzen-KI-Forschung: Im Jahr 2023 brachte die Industrie 51 bemerkenswerte maschinelle Lernmodelle hervor, während die Wissenschaft nur 15 beisteuerte. Dieser Trend, dass die Industrie bei der Spitzen-KI-Forschung führend ist, nimmt weiter zu.

3. Frontier-Modelle werden zunehmend teurer: Die geschätzten Trainingskosten für Modelle wie GPT-4 und Gemini Ultra zeigen die massiven Investitionen, die für die Entwicklung von Spitzen-KI-Systemen erforderlich sind, mit Kosten von über 100 Millionen US-Dollar.