Noch keine KI-Analyse
Ausführen: python script_run_ai_scoring.py --profile alex
Stellenbeschreibung
Duration: 10 months+ | Start: 09/2026 | Remote: 100%
Beschreibung
IT
X86 Architecture
Applications Architecture
ARM Architecture
Data Architecture
Digital Architecture
High-Level Architecture
Integrated Architecture Framework
Solution Architecture
Systems Architecture
Model-Driven Architecture
Cloud Platform System
Large Language Models
IT Architecture
Computer Architecture
Terraform
Artificial Intelligence Markup Language (AIML)
Description
Einleitung:
Für den Aufbau einer zentralen Plattform zur Nutzung von Large Language Models und weiteren KI-Anwendungen suchen wir einen erfahrenen AI-/LLM-Architekten. Du verantwortest die technische Konzeption der Plattform und begleitest deren Umsetzung bis in den produktiven Betrieb.
Der Fokus liegt auf einer sicheren und skalierbaren On-Premise-Architektur, die sowohl Inference-Anwendungen als auch weitere GPU-basierte Workloads unterstützt. Dabei arbeitest du eng mit Infrastruktur-, Plattform- und Betriebsteams zusammen und sorgst durch gezielten Wissenstransfer dafür, dass die Lösung anschließend eigenständig betrieben und weiterentwickelt werden kann.
Aufgaben:
Konzeption einer zentralen Plattform für LLM-Inference und weitere GPU-basierte KI-Workloads
Entwicklung einer geeigneten Zielarchitektur für den produktiven On-Premise-Betrieb
Planung und Bewertung von LLM-Serving- und Inference-Komponenten
Definition von Betriebs-, Governance- und Bereitstellungsmodellen für die KI-Plattform
Beratung bei der Auswahl geeigneter Open-Weight-Modelle, insbesondere für deutschsprachige Anwendungsfälle
Bewertung von Anforderungen an GPU-Kapazitäten, deren Aufteilung und Nutzung
Konzeption geeigneter Verfahren zur GPU-Segmentierung und Ressourcensteuerung
Berücksichtigung von NVIDIA MIG sowie alternativen GPU-Sharing- und Scheduling-Ansätzen
Begleitung der Integration der Plattform in bestehende Infrastruktur- und Betriebslandschaften
Vorbereitung der technischen Anbindung bestehender dokumentenbasierter KI-Anwendungen
Berücksichtigung von Datenschutz, Informationssicherheit, Datensouveränität und regulatorischen Anforderungen
Abstimmung mit beteiligten Architektur-, Plattform- und Betriebsteams
Erstellung technischer Konzepte, Entscheidungsgrundlagen und Betriebsdokumentationen
Durchführung von Wissenstransfer und Befähigung der internen Teams
Profil:
Mehrjährige Erfahrung als Architekt im Umfeld von LLM-, GenAI- oder Model-Inference-Plattformen
Nachweisbare Erfahrung mit dem produktiven Betrieb von LLM-/KI-Lösungen
Sehr gute Kenntnisse in der Architektur GPU-basierter KI-Infrastrukturen
Erfahrung mit On-Premise-Umgebungen und idealerweise Projekten im regulierten bzw. öffentlichen Umfeld
Fundierte Kenntnisse zu Betriebs- und Governance-Modellen für KI-Plattformen
Erfahrung bei der Bewertung und Auswahl leistungsfähiger Open-Weight-Modelle
Erfahrung im Umfeld dokumentenbezogener KI-Verarbeitung
Praktische Kenntnisse mit Tesseract, trOCR und ABBYY FlexiCapture
Verständnis für GPU-Ressourcenmanagement, Segmentierung und Scheduling
Kenntnisse relevanter Container-, Kubernetes- und AI-Plattform-Technologien
Verständnis für IT-Betriebsprozesse sowie Datenschutz- und Security-Anforderungen
Sehr gute Kommunikations- und Beratungskompetenz
Fähigkeit, komplexe technische Sachverhalte verständlich zu vermitteln
Sicheres Arbeiten in interdisziplinären Teams