Generative KI: Bisrats Einblicke und Workshop-Erfahrungen

codeveloper · Allgemein · Generative KI: Bisrats Einblicke und Workshop-Erfahrungen

Generative KI

Bisrats Einblicke und Workshop-Erfahrungen

Unser Kollege Bisrat hat in den letzten Jahren zahlreiche Workshops rund um’s Thema Generative KI geleitet und dabei wertvolle Erfahrungen gesammelt. In unserem neuesten Blogbeitrag teilt er Einblicke in die Durchführung erfolgreicher Workshops, sowohl an der Uni Rostock als auch auf der NØRD-Digital Convention. Erfahre, wie Bisrat mit praktischen Tipps und persönlichen Erlebnissen zeigt, wie man Workshops effektiv gestaltet und durchführt. Ein idealer Leitfaden für alle, die ihre Fähigkeiten in der Workshop-Gestaltung verbessern möchten!

Die aktuelle Welle der generativen KI erfordert nicht nur die Aufmerksamkeit von Menschen, die in technischen Bereichen tätig sind, sondern auch die des allgemeinen Öffentlichkeit. In diesem Sinne sind wir von DEJ Technology losgezogen und haben einige Workshops und Vorträge gehalten, um mit den Menschen über die Entwicklung im Bereich generative KI zu diskutieren. Das Tempo, mit dem sich das Feld bewegt, ist so hoch, dass es wichtig ist, mit den neuesten Entwicklungen Schritt zu halten und sich auch der ethischen Implikationen der Technologie bewusst zu sein.

Von Anfang an hat DEJ daran geglaubt, das Wissen und die Erfahrung mit Menschen in verschiedenen Gesprächen zu teilen. Im letzten Jahr haben wir an verschiedenen Orten Vorträge über Sprachmodelle gehalten, z.B. auf der NConf, der Universität Rostock, der NØRD-Konferenz und bei Rostock Business. Jede dieser Veranstaltungen bringt eine andere Herausforderung und eine andere Erfahrung mit sich.

Uni-Rostock Projektwoche Workshop

In diesem Jahr haben wir zum zweiten Mal generative KI und LLM-bezogene Workshops an der Universität gegeben. Die Universität Rostock bietet eine Projektwoche für Studierende an, um verschiedene praktische Anwendungen zu erforschen.

Workshop zur Analyse von Sensordaten

Vor zwei Jahren haben wir einen Workshop über die Analyse von Sensordaten angeboten. Wir hatten unseren „intelligenten Einkaufswagen“ dabei. Dieser war mit Lidar, RealSense-Tracking-Kamera, einem Raspberry Pi und einem Smartphone ausgestattet. Wir sind mit dem Wagen herumgefahren und haben unsere Bewegungen über die verschiedenen Sensoren aufgezeichnet. Den Schüler*innen stellten wir die Aufgabe, die Sensordaten praktisch zu bearbeiten, um daraus Informationen in Echtzeit zu erstellen.

Die Schüler*innen sind stundenlang bei uns geblieben und haben Sensordaten mit Hilfe von Tools wie Python, Numpy und Matplotlib analysiert. Wir waren von ihrer Kreativität und ihrem Enthusiasmus begeistert.

Workshops rund um generative KI und LLMs

Der Workshop des letzten Jahres rund um generative KI und LLMs drehte sich um zwei Hauptthemen: Wie Sprachmodelle wie chatGPT aufgebaut sind und wie man die API von openAI nutzt, um bestimmte Geschäftsanwendungen zu erstellen. Wir diskutierten tiefer in die Transformers-Architektur. Das Publikum reichte von Studenten im ersten Jahr über Doktoranden bis hin zu Personen, die im Bereich NLP arbeiten.

Praktische Erfahrungen und Prompt-Engineering

Was im letzten Jahr besonders beeindruckend war, war die Tatsache, dass die Schüler*innen ihr eigenes Prompt-Engineering mit dem kleinen webbasierten Tool, das wir gebaut haben, durchgeführt haben. Irgendwann haben sie ihren eigenen Chatbot so gestaltet, dass er immer wütend war und mit wütenden Antworten reagierte. Das war eine lustige und fesselnde Erfahrung. In den wenigen Stunden, die der Workshop gedauert hat, haben wir etwa 100.000 Token generiert oder von den Schülern angefordert.

Veränderungen in der Sprachmodellszene

Zwischen dem letzten und diesem Jahr gab es mehrere Veränderungen in der Sprachmodellszene. Zum einen hat sich unser Verständnis davon, wie Sprachmodelle aufgebaut sind, erheblich verbessert. Die andere Veränderung ist der Aufstieg mehrerer konkurrierender generativer Modelle im Vergleich zum letzten Jahr, als chatGPT allen anderen weit voraus war. Dieses Mal waren Gemini und Claude gute Konkurrenten.

Open-Source-Modelle und neue Tools

Open-Source-Modelle, oder besser gesagt Modelle mit offenen Gewichten, sind in den letzten Monaten ebenfalls sehr beliebt geworden. Nach dem Aufkommen von llama.ccp und kleinen Erweiterungen wie Lama.cpp ist die Möglichkeit, Sprachmodelle direkt auf dem Laptop laufen zu lassen, ein entscheidender Fortschritt. Wir demonstrierten den Schülern, wie man ein eigenes Sprachmodell auf dem Laptop laufen lassen kann, indem man sich mit Tools wie ollama verbindet.

Die NØRD-Digital- Convention: Erfahrungen und Highlights

Größte digitale Messe in Mecklenburg-Vorpommern

Die NØRD-Digital-Convention ist wahrscheinlich die größte digitale Messe in ganz Mecklenburg-Vorpommern. Hohe Investitionen und viele verschiedene Unternehmen, die die Szene besetzen, machen sie zu einem sehr ansprechenden Umfeld. Die Veranstaltung war insgesamt jedoch mehr auf Networking und Kontakte knüpfen ausgelegt.

Vorträge und Herausforderungen

Trotzdem sind wir dankbar, dass wir auf der NØRD Vorträge halten durften. Leider sind wir auf ein paar Schwierigkeiten während der Veranstaltung gestoßen. Zum einen waren die Räume, in denen die Workshops stattfanden, nicht gut gegen Außengeräusche abgeschirmt. Dadurch mussten wir sehr laut sprechen, um mit dem Publikum in Kontakt zu treten. Dies hat die Kommunikation ziemlich erschwert.

Anpassung der Präsentationen

Weil der Großteil des Publikums keinen technischen Hintergrund hatte, haben wir unsere Präsentation dynamisch angepasst. Wir spiegelten Geschäftsanwendungen wider, anstatt tiefer in die auf neuronalen Netzen basierenden Architekturen einzudringen. Es wurden mehrere Fragen aus dem Publikum gestellt, die gut durchdacht zu sein schienen. Wir waren auf diese Fragen gut vorbereitet und konnten aus ihnen eine spannende Diskussion erzeugen.

Spannende Fragen aus dem Publikum

Einige der Fragen lauteten zum Beispiel:

Wie nah sind wir an vollständig generierten KI-Filmen und perfektionierten Bildern?
Ist es besser, große kontextfensterbasierte Sprachmodelle zu verwenden, um mit großen Inhalten umzugehen, oder besser mit RAG-Modellen?
Kolmogorov-Arnold-Netze? Könnten sie eine Verbesserung der Architektur klassischer neuronaler Netze darstellen?

Fazit und Ausblick

Dieser Fachkongress ist eine sehr wichtige Einrichtung, um das allgemeine Publikum in die digitale Industrie zu bringen. Der Wissensaustausch in einem so großen Rahmen, interessante Diskussionen und wertvolle Kontakte zu knüpfen, speziell in Mecklenburg-Vorpommern, ist zu fördern. Aus diesen Gründen waren wir sehr dankbar Teil der NØRD Convention zu sein und freuen uns auf nächstes Jahr.

Bisrats Tipps für erfolgreiche Workshops

#1 Kenne dein Publikum

Im Laufe der Jahre haben wir bei unseren Workshops und Vorträgen die Erfahrung gemacht, dass es wichtig ist, sich dynamisch an das Publikum anzupassen. Bei Workshops und Vorträgen ist es sehr wichtig zu wissen, wer die Zuhörer sind, welche Erfahrungen sie haben und woran sie besonders interessiert sind. Nimm zum Beispiel LLMs: Man kann über die technischen Themen von Transformators sprechen, darüber, wie sie trainiert werden, und über Verstärkungslernen aus menschlichem Feedback. Aber wenn die Zuhörer*innen eher daran interessiert sind, wie man die derzeit beliebten LLMs für einen bestimmten Geschäftsanwendungsfall nutzen kann, dann wäre der Workshop eine Herausforderung.

#2 Vorbereitung ist alles

Workshops, bei denen das Publikum aktiv am Programmieren und Bauen beteiligt ist, sind mehr als einfache Vorträge und sollten bis ins Detail vorbereitet werden. Ein weiterer wichtiger Punkt ist, sie so einfach wie möglich zu halten. In einem unserer früheren NConf-Workshops haben wir versucht, die in LLMs verwendete Transformator-Architektur von Grund auf neu zu bauen, was das Verständnis vieler verschiedener Konzepte erforderte, so dass wir angesichts des Zeitaufwands irgendwann an eine Grenze gestoßen sind. Auch in diesem Fall haben wir uns sofort angepasst und uns auf die wichtigsten Teile der Architektur konzentriert.

#3 Keep it simple

So unterschiedlich das Publikum auch sein mag, eine Zutat, die immer funktioniert, ist, die Dinge so einfach wie möglich zu erklären. Jeder liebt gut durchdachte Erklärungen, die mit fesselnden Analogien, Beispielen und guten Statistiken unterstützt werden. Die Präsentationen sollten auch immer einfach sein, nur wenige Worte enthalten und eher visuell sein. Es gilt das alte Sprichwort, dass ein Bild mehr sagt als tausend Worte.

#4 Fesseln und Triggern

Wenn die Zeit nicht zu knapp ist, beginnen wir unsere Workshops meist damit, dass wir die Zuhörer*innen ein wenig über sich selbst befragen. Das wirkt ein wenig anziehender und die Zuhörer*innen haben das Gefühl, eine persönlichere Note zu bekommen. Außerdem ist es eine gute Idee, einige interessante Fragen vorzubereiten. Bei einer unserer Konferenzen, der NConf, blieb das Publikum noch 20 Minuten länger, um über die Zukunft der generativen KI zu diskutieren, was sehr schön zu sehen war.

Previous slide

Next slide