Deploy_CrewAI

Déploiement Infrastructure as Code et GitOps d’une plateforme CrewAI avec GPU sur VMware vSphere et K3s.

Version anglaise archivée : README.EN.md.

Architecture

Terraform
  -> VM Ubuntu 22.04 GPU épinglée sur un hôte ESXi
  -> NVIDIA PCI passthrough ou GRID vGPU validé
  -> amorçage du worker GPU K3s

Argo CD
  -> NVIDIA Device Plugin
  -> Ollama sur le worker GPU
  -> API CrewAI
  -> tableau de bord CrewAI
  -> politiques réseau et télémétrie

La NVIDIA Quadro P4000 dispose de 8 Go de VRAM. Le profil par défaut cible un modèle 7B quantifié pour un laboratoire interne, pas pour une production multi-tenant.

Topologie déployée

Le premier déploiement fonctionnel utilise le PCI passthrough vSphere :

• VM : SRV-AI-CREW01
• Nœud Kubernetes : srv-ai-crew01
• GPU : NVIDIA Quadro P4000 exposée en nvidia.com/gpu=1
• Branche driver NVIDIA : 580-server
• Namespace K3s : crewai
• Contrôleur GitOps : Argo CD dans le namespace argocd
• Application racine : argocd/root-application.yaml

Les services d’exécution sont internes au cluster :

| Service | Namespace | Port | Authentification | | --- | --- | --- | --- | | Argo CD | argocd | 443 sur argocd-server | admin + secret Kubernetes | | CrewAI UI | crewai | 8501 sur crewai-ui | aucune actuellement | | CrewAI API | crewai | 8000 sur crewai-api | aucune actuellement | | Ollama | crewai | 11434 sur ollama | aucune actuellement |

Aucun Ingress public n’est activé par défaut. L’accès opérateur se fait avec kubectl port-forward.

Set-Location C:\Users\AntaresXI\Downloads\Deploy_CrewAI
$kubectl = "$HOME\kubectl.exe"
$kc = Join-Path (Get-Location) 'secrets\kubeconfig'

# Argo CD : https://localhost:8080
& $kubectl --kubeconfig $kc -n argocd port-forward svc/argocd-server 8080:443

# Tableau de bord CrewAI : http://localhost:18501
& $kubectl --kubeconfig $kc -n crewai port-forward svc/crewai-ui 18501:8501

# API CrewAI : http://localhost:18000
& $kubectl --kubeconfig $kc -n crewai port-forward svc/crewai-api 18000:8000

# API Ollama : http://localhost:11434
& $kubectl --kubeconfig $kc -n crewai port-forward svc/ollama 11434:11434

Récupération du mot de passe administrateur Argo CD :

& $kubectl --kubeconfig $kc -n argocd get secret argocd-initial-admin-secret `
  -o jsonpath="{.data.password}" |
  ForEach-Object { [Text.Encoding]::UTF8.GetString([Convert]::FromBase64String($_)) }

Accès et identifiants

Argo CD

• URL interne Kubernetes : argocd-server.argocd.svc.cluster.local
• Namespace : argocd
• Service : argocd-server
• Port local recommandé : 8080
• URL locale : https://localhost:8080
• Identifiant : admin
• Mot de passe : secret Kubernetes argocd-initial-admin-secret

CrewAI

• Tableau de bord interne : crewai-ui
• Namespace : crewai
• Service API : crewai-api
• Port Kubernetes API : 8000
• Port local API recommandé : 18000
• URL locale API : http://localhost:18000
• Identifiant applicatif : aucun actuellement
• Mot de passe applicatif : aucun actuellement

Ollama

• Namespace : crewai
• Service : ollama
• Port Kubernetes : 11434
• Port local recommandé : 11434
• URL locale : http://localhost:11434
• Identifiant applicatif : aucun actuellement
• Mot de passe applicatif : aucun actuellement

CrewAI et Ollama ne sont pas exposés publiquement dans ce socle. L’accès se fait via Kubernetes ou kubectl port-forward. L’authentification applicative pourra être ajoutée plus tard via Ingress, reverse proxy, OAuth2/OIDC ou clé d’API.

Plan de livraison en huit étapes

1. Valider vCenter, ESXi, GPU, drivers, DNS, réseau et stockage.
2. Initialiser le dépôt, la frontière des secrets et le backend Terraform.
3. Planifier puis provisionner la VM GPU avec Terraform.
4. Amorcer Ubuntu, le runtime NVIDIA et l’agent K3s.
5. Valider nvidia.com/gpu=1 dans Kubernetes.
6. Déployer NVIDIA Device Plugin, Ollama et CrewAI via Argo CD.
7. Exécuter les tests unitaires, d’intégration, d’inférence et de télémétrie.
8. Publier les preuves, constats de sécurité et procédures d’exploitation.

Voir docs/DEPLOYMENT.md pour le runbook complet.

Flux GitOps

Le dépôt est la source de vérité :

branche GitHub main
  -> Application Argo CD deploy-crewai
  -> kubernetes/base
  -> namespace, politiques, Ollama, job modèle, API CrewAI

Les images applicatives sont publiées dans GHCR par GitHub Actions :

app/Dockerfile
  -> .github/workflows/build-image.yml
  -> ghcr.io/techapple78/deploy-crewai:main

app/ui/Dockerfile
  -> .github/workflows/build-image.yml
  -> ghcr.io/techapple78/deploy-crewai-ui:main

Le cluster a besoin du secret de pull ghcr-pull dans le namespace crewai. Le jeton GitHub utilisé pour le créer doit inclure read:packages.

gh auth refresh -h github.com -s read:packages
.\scripts\Register-ArgoRepository.ps1

Versions épinglées

| Composant | Version | | --- | --- | | CrewAI | 1.14.7 | | Python | 3.12 | | NVIDIA Device Plugin | 0.19.3 | | Ollama | 0.30.10 | | Provider Terraform vSphere | 2.x |

Initialisation locale

.\scripts\Initialize-LocalConfig.ps1 `
  -GpuVmIp 192.0.2.20 `
  -GpuEsxiHost esxi-gpu.example.internal `
  -PciDeviceId "0000:65:00.0"

Par défaut, le script d’initialisation lit les valeurs sources K3s/vSphere depuis :

secrets/k3s-vsphere-source/terraform/

Le dépôt Deploy_CrewAI est autonome et n’exécute plus de fichiers provenant d’un ancien dépôt externe.

Les fichiers générés terraform.tfvars, credentials.auto.tfvars, l’état Terraform, le kubeconfig et les clés privées sont exclus de Git.

Validation

.\scripts\Test-Repository.ps1
.\scripts\Invoke-Terraform.ps1 -Action validate
.\scripts\Invoke-Terraform.ps1 -Action plan
.\scripts\Test-GpuNode.ps1
.\scripts\Test-CrewAI.ps1
.\scripts\Test-CrewAIUi.ps1

Aucun terraform apply ne doit être exécuté sans revue du plan sauvegardé.

État final attendu :

deploy-crewai       Synced   Healthy
crewai-ui           1/1      Running
crewai-api          1/1      Running
ollama              1/1      Running
ollama-model-pull   Complete
srv-ai-crew01       nvidia.com/gpu=1

Retours d’expérience du déploiement

Le premier déploiement réel a exposé plusieurs points d’intégration importants :

• le tag GitHub Action aquasecurity/[email protected] n’existait pas ;
• le dossier vSphere doit correspondre à l’inventaire réel (SILAB dans l’environnement déployé), pas à une valeur de laboratoire codée en dur ;
• la personnalisation VMware peut redémarrer trop tôt pour cloud-init ; le bootstrap GPU est maintenant différé via un timer systemd ;
• le NVIDIA Device Plugin nécessite des labels de découverte GPU comme nvidia.com/gpu.present=true ;
• K3s utilise son propre chemin de configuration containerd ; la configuration NVIDIA doit être écrite sous /var/lib/rancher/k3s/agent/etc/containerd ;
• ollama/ollama:0.30.10 nécessite une branche NVIDIA récente ; le déploiement utilise 580-server ;
• Kubernetes rejette runAsNonRoot lorsque les images utilisent uniquement des utilisateurs nommés ; les workloads utilisent maintenant des UID numériques ;
• les systèmes de fichiers racine en lecture seule nécessitent des montages emptyDir explicites pour /tmp et les répertoires applicatifs ;
• le remplacement des Jobs par Argo CD nécessite Force=true,Replace=true pour les champs immuables.

Les détails et commandes opérationnelles sont documentés dans docs/DEPLOYMENT.md.