# KI im Unternehmen - Regeln des Business Game - Entwicklung von cogit@company - Finale Pitches --- # Regeln des Business Game ## Rückblick Was war unser Ziel am Anfang dieser Veranstaltung? Dieses gucken wir nochmal gemeinsam an. > > Sie sind in der Lage > KI im Unternehmen einzusetzen > Wir haben bereits die Grundlagen künstlicher Intelligenz erlernt, können mit den wichtigsten LLM-Tools umgehen und wissen, wie wir firmeninterne Use Cases finden. Außerdem haben wir gelernt, welche Daten wir für ein LLM-Projekt brauchen und wie der Prozess der Umsetzung aussieht. Was bleibt denn übrig, um unser Ziel zu erreichen? --- ## Zielsetzung Diese Fähigkeiten müssen wir nun in die Praxis bringen. Dafür wird jeder einen Anwendungsfall nehmen und diesen als cogit@company konzipieren - als ein produktives Tool im Einsatz bei Ihrem Unternehmen. > > Sie haben ein cogit@company Konzept ausgearbeitet > können diese KI-Lösung im Unternehmen umsetzen > --- ## Vorgehen 1. Jeder arbeitet alleine - von wegen Datenschutz 2. Idee für den Anwendungsfall kommt aus unserer Übung gestern 3. Anwendungsfall wird im cogit@company Verfahren eingeschätzt (Problem, Lösung, Mehrwert, Anforderungen, ... ) - 10 Min - Dozent präsentiert Module im Assessment for LLMs - 15 Min - Teilnehmende wenden die Fragen an den eigenen Fall an - 1 Min - Teilnehmende pitchen ihre Ergebnisse zu den jeweiligen Modulen - 1 Min - Teilnehmende erhalten Feedback von der Gruppe 4. Am Ende - 3 Min Pitch von A bis Z 5. Teilnehmende wählen die Sieger --- ## Preise Platz 1: 50€ OpenAI API Credits Platz 2: 25€ OpenAI API Credits Platz 3: 10€ OpenAI API Credits --- ## Module **Motivation** - Problem - Existierende Lösung - KI-Lösung - Wertversprechen **Technologie** - Daten - Technische Anforderungen - Architektur **Produkt** - Deliverable - Entscheidungsbaum - Maßnahme - Evaluierung **Umsetzung** - Risiken - Team - Budget --- # Entwicklung von cogit@company ## Modul 1: Motivation ### Problem Was ist die Herausforderung? **Beschreibung**: - Unser Problem ist ... - Dieses Problem betrifft ZIELGRUPPE (wer + intern/extern) - Es verursacht ... (Verzögerung, schlechte Qualität, Kundenverlust, ... ) **Relevant seit**: DATUM **Schweregrad**: Vitamin vs Pain Killer **Dringlichkeit**: jetzt vs später --- ### Existierende Lösung Wie wird das Problem momentan gelöst? **Beschreibung**: - Soweit haben wir es so gelöst ... - Dafür haben wir TOOL für ZIELGRUPPE entwickelt - Es kostet uns XY € pro Monat **Zufriedenheit**: 1-5, 5 max **Warum noch da**: teuer, historisch gewachsen, keine Alternative, ... --- ### KI-Lösung Wie kann KI und LLMs helfen? **Beschreibung**: - Potenzial für den LLM Einsatz besteht darin, dass ... - LLM können helfen, weil ... (wir mit Texten XY arbeiten, cognitive Automatisierung eingesetzt werden kann, ... ) **Art**: - Prozess - Welches Workflow wird automatisiert? - Welches Team ist dafür verantwortlich, mit wie vielen Leuten? - Ist es ein Kern- oder ein Support-Prozess? - Wie viele Dokumente laufen jährlich über den Prozess? - Produkt - Welches neue Feature oder komplett neues Produkt wollen wir anbieten? - Für welche genaue Zielgruppe? - Wie wird das unser Geschäftsmodell beeinflussen? - Bauen wir das in unser Angebot zu dem gleichen Preis ein? - Wollen wir einen Ausschlag verlangen? - Sind unsere Kunden bereit, diesen Ausschlag zu zahlen? - Suche - Welche neue Capabilities wird das für unsere Mitarbeiter ermöglichen? - Wie groß ist der voraussichtliche Datensatz? - Wollen wir das für die ganze Firma, eine Abteilung oder ein Team anbieten? --- ### Mehrwert **Wertmodelle**: ![[Pasted image 20240904144436.png]] **Strategie**: Viele Unternehmen setzen KI-Lösungen um, um heute ihre Arbeiten mit den Tools anzufangen und den Datenschatz aufzubauen und Marktführerschaft zu sichern. Das bedeutet, dass Projekte manchmal umgesetzt werden, ohne einen direkten monetären Mehrwert zu haben. **Human Capital**: Hier ist die Motivation ähnlich - Unternehmen wollen, dass Ihre Mitarbeitende so früh wie möglich anfangen, mit KI zu arbeiten. Dafür brauchen Sie zum einen Schulungen und zum anderen firmeninterne KI-Tools, die Sie im beruflichen Alltag nutzen können. --- ### Übung 15 Min Beschreiben Sie: - das Problem - existierende Lösung - KI-Lösung, und - den erwarteten Mehrwert dieser Lösung am besten schriftlich mit jeweils 3-5 Bulletpoints --- ### Pitching 1 Min sprechen 1 Min zuhören --- ## Modul 2: Technologie ### Daten Welche Daten werden verwendet? **Datenträger**: - Dokumente - Systeme - Datenbanken - ??? **Menge**: 100, 10.000, 1.000.000 Dokumente, Zeilen, ... **Quellen**: - intern - Dateiablage, Schnittstelle, Data Warehouse - extern - Buy, Scrape, Partner **Zugang**: Request, Dauer **Datenschutz**: Nutzungseinschränkungen, Cloud/on-prem inkl. Regions --- ### Anforderungen Welche technische Anforderungen gibt es? z. B. Daten müssen täglich / stündlich extrahiert werden; finale Lösung muss von Laptop sowie Handy verfügbar sein usw. **Systeme**: ERP, CRM, Webshop, cusomer-facing, ... **Tools**: Teams, Excel, ... **Geräte**: Desktop, Web, Mobile **Skalierbarkeit**: 10, 1.000, 1.000.000 Nutzer **Qualität/Genauigkeit**: 20%, 80%, 95%, 99% --- ### Architektur Welches Modell können wir nutzen? Welche Modalitäten werden benötigt? Wie schnell muss das Modell sein? Welche Datenbank nutzen wir? Brauchen wir einen Reranker? **LLM Modell**: lokal vs Cloud, Closed vs Open Source, Modalitäten usw, siehe auch [[module 5 - implement ai#Auswahl des LLM]] **Embedding**: lokal vs Cloud, Fine-Tune vs Pretrained **Reranking**: lokal vs Cloud **Datenbank**: lokal vs Cloud vs embedded, Vektors / SQL / JSON **Interface**: Web, Email, BI, ... **Server**: lokal vs Cloud --- ### Übung 15 Min Beschreiben Sie: - die Daten - die Anforderungen - die Architektur am besten schriftlich mit jeweils 3-5 Bulletpoints --- ### Pitching 1 Min sprechen 1 Min zuhören --- ## Modul 3: Produkt ### Deliverable Was liefern wir als Ergebnis? **Produkt**: Schnittstelle, Produkt mit Oberfläche, Prozessautomatisierung im Backend, Python-Package **Zieldokument**: Auftrag, Rechnung, Email, Doku-Entwurf ... **Deployment**: wie stellen wir dieses Produkt für die Nutzer zur Verfügung? **Dokumentation**: technische sowie für die Nutzer **Enablement**: wie schulen und onboarden wir unsere Nutzer? --- ### Entscheidungsbaum Welche Entscheidungen wird das LLM treffen? Welche Schritte im Workflow werden wie gesteuert? **Beschreibung**: - oft anhand des Prozessdiagramms **Entscheidungen**: - z.B., Rechnung zur Zahlung freigeben, Auftrag erstellen, Email verschicken --- ### Maßnahme Welche Maßnahme wird von cogit@company ausgeführt? siehe auch [[module 4 - use cases#Was tut die KI in einem Prozess?]] **Erstellung von Dokumenten** - neue Dokumente werden erstellt, bestehende werden angepasst - Diese Dokumente werden direkt in weiteren Prozessen verwendet **Entscheidungsfindung** - Nutzer wird mit einer Entscheidung der KI präsentiert und gibt sein Go - Das Ergebnis der KI ist eine Analyse, eine Einschätzung, eine Empfehlung **Auslösen von Aktionen** - Write-Back ins System wie SAP oder Salesforce - Anfrage an eine Schnittstelle - Update in einer Datenbank - Versenden einer Email - ... --- ### Evaluierung Wie wird das Modell und dessen Entscheidung evaluiert? **Technische Metriken** - LGTM@10 - Precision & Recall - LLM as Judge **Business Metriken** - KPIs - Durchlaufzeiten - Automation Rate - Cost per Unit - ... - ROI --- ### Übung 15 Min Beschreiben Sie: - das Deliverable - das Entscheidungsbaum - die Maßnahme - die Evaluierung am besten schriftlich mit jeweils 3-5 Bulletpoints --- ### Pitching 1 Min sprechen 1 Min zuhören --- ## Modul 4: Umsetzung ### Risiken Welche Risiken müssen wir bei der Umsetzung der Lösung beachten? **Technologie** - Können LLMs oder allgemeine KI unser Problem effektiv lösen? - Sind wir vor Halluzinationen geschützt? - Ist es überhaupt möglich, die notwendige Qualität der Antworten zu erreichen? - Werden die Kosten für die LLM-Schnittstellen oder Vektordatenbanken akzeptabel sein? **Nutzer** - Wie können wir unsere interne oder externe Nutzer auf den Einsatz von KI vorbereiten? - Wie wahrscheinlich ist es, dass wir einen Pushback von unseren Nutzern bekommen und wie können wir dies vermeiden? **Business** - Wird sich der erwartete Mehrwert realisieren? - Können wir die Lösung in unsere täglichen Prozesse und/oder unser Geschäftsmodell nahtlos einbauen? - Werden wir kontinuierlichen Support von unseren Projektsponsoren haben? --- ### Team Wie können wir alle technischen und Business-Anforderungen erfüllen? Welche Rollen brauchen wir dafür? Können wir diese intern sourcen oder brauchen wir externe Unterstützung? **Rollen** **KI-Entwickler** - Implementierung und Anpassung der KI-Modelle, Entwicklung von Algorithmen zur Datenverarbeitung, Integration der KI-Module **Prompt Engineer** - Erstellung und Optimierung der Prompts, Sicherstellung der Antwortqualität, Testen und Validieren der Prompts, Dokumentation **Backend Engineer/DevOps** - Entwicklung on Integrationen, Aufbau und Wartung der Serverinfrastruktur, Durchführung von Deployments **Produktmanager** - Definition der Produktvision und Koordination, Anforderungsmanagement, Stakeholder-Management, Projektüberwachung ** **Herausforderungen** **Rekrutierung**: Schwierigkeiten bei der Gewinnung von qualifiziertem Personal aufgrund hoher Nachfrage und Kosten. **Fluktuation**: Risiko der Abwanderung hochqualifizierter Mitarbeiter, besonders wenn die Arbeitsbedingungen nicht zufriedenstellend sind. **Training und Entwicklung**: Notwendigkeit kontinuierlicher Weiterbildung, um mit den technologischen Entwicklungen Schritt zu halten. --- ### Budget **Kosten** - Was sind die Entwicklungskosten für die KI-Lösungen? - Wie viel wird uns Schnittstellennutzung und Instandhaltung kosten? **Quellen** - Welche Budgettöpfe können wir für die Umsetzung verwenden? - Gibt es interne Digitalisierungsinitiativen, Innovationsabteilungen, Start-up-Kooperationen? --- ### Übung 15 Min Beschreiben Sie: - die Risiken - das Team - das Budget am besten schriftlich mit jeweils 3-5 Bulletpoints --- ### Pitching 1 Min sprechen 1 Min zuhören --- # Finale Pitches ## Vorbereitung 15 Min Fassen Sie Ihre Erkenntnisse auf 4 Folien zusammen 1 Modul - 1 Folie 1 Bullet - 1 Submodul --- ## Pitching 3 Min pro Person --- ## Voting --- ## Siegerkrönung --- --end--