Notiz App Blinko mit KI erweitern. Aber wie Stack für Docker anpassen?

[ElaCorp]

Weiß jemand von euch, wie man bei Blinko (GitHub) seine eigene KI einbauen kann?
Leider konnte KI mir da auch nicht helfen, dass erfolgreich zu installieren. Es hat irhgendwann nur noch sachen gesagt und sich im Kreis gedreht, dass nichts davon half, und sogar schlimmer wurde. Wichtig ist zu wissen, dass die KI Modelle in Ollama direkt angelegt werden müssen, weil OllamaWebUI nur Sachen für sich selbst macht. Deswegen versuchte ich ein angepasstes Modell über den Stack zu installieren.

Es geht vor allem darum, dass es auf GPU von dem drunterliegenden Intel Pentium Gold 8505 (5 Kerne) läuft. Ich shcaffe es, dass die Modelle mit 100% GPU darauf laufen, aber nur bei OllamaWebUI. dort geht es. Aber für Blinko müssen diese angepasst werden.

Hier meine Stacks:

services:
  db:
    image: postgres:17
    container_name: Blinko-DB
    hostname: blinko-db
    networks:
      - ai-bridge
    #dns:
    #  - 1.1.1.1
    security_opt:
      - no-new-privileges:true
    healthcheck:
      test: ["CMD", "pg_isready", "-q", "-d", "blinko", "-U", "blinkouser"]
      timeout: 45s
      interval: 10s
      retries: 10
    volumes:
      - /volume2/docker/blinko/db:/var/lib/postgresql/data:rw
    environment:
      POSTGRES_DB: blinko
      POSTGRES_USER: blinkouser
      POSTGRES_PASSWORD: blinkopass
    restart: on-failure:5

  blinko:
    shm_size: '2gb'
    image: blinkospace/blinko:latest
    container_name: Blinko
    networks:
      - ai-bridge
    #dns:
    #  - 1.1.1.1
    environment:
      NODE_ENV: production
      NEXTAUTH_URL: https://blinko.synology.me
      NEXT_PUBLIC_BASE_URL: https://blinko.synology.me
      NEXTAUTH_SECRET: XXXXXXXXXXXS2qmFF3W1fUsiY78U7wIapWJycOWJPOcet2Rlz5F54
      DATABASE_URL: postgresql://blinkouser:blinkopass@blinko-db:5432/blinko
    volumes:
      - /volume2/docker/blinko/data:/app/.blinko:rw
    logging:
      options:
        max-size: "10m"
        max-file: "3"
    ports:
      - 1112:1111
    depends_on:
      db:
        condition: service_healthy
    restart: on-failure:5

networks:
  ai-bridge:
    external: true # Hiermit sagt Blinko: "Ich möchte das Netzwerk von Ollama mitbenutzen"

dann ist das mein Stack für Ollama

services:
  ollama:
    container_name: OLLAMA
    image: ollama/ollama:latest
    restart: unless-stopped
    privileged: true
    shm_size: '8gb'
    networks:
      - ai-bridge
    dns:
      - 8.8.8.8
      - 1.1.1.1
    ports:
      - "11434:11434"
    volumes:
      - /volume2/docker/ollama/data:/root/.ollama
    group_add:
      - "937"
    devices:
      - /dev/dri:/dev/dri
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_KEEP_ALIVE=-1
      - OLLAMA_INTEL_GPU=true
      - OLLAMA_VULKAN=1              # Wieder AN für iGPU Speed
      - OLLAMA_FLASH_ATTENTION=0     # WICHTIG: AUS gegen den Zeichensalat
      - ZES_ENABLE_SYSMAN=1
    healthcheck:
      test: ["CMD-SHELL", "ollama list || exit 1"]
      interval: 10s
      timeout: 5s
      retries: 5
    entrypoint: /bin/sh -c
    command:
      - |
        /bin/ollama serve &
        sleep 20;
        # Erst löschen, dann neu erstellen für sauberen Stand
        ollama rm qwen2-blinko || true;
        ollama pull qwen2.5:7b && \
        echo "FROM qwen2.5:7b\nPARAMETER num_ctx 4096" > /tmp/Modelfile && \
        ollama create qwen2-blinko -f /tmp/Modelfile;
        wait

  open-webui:
    container_name: OLLAMA-WEBUI
    image: ghcr.io/open-webui/open-webui:latest
    restart: unless-stopped
    networks:
      - ai-bridge
    dns:
      - 8.8.8.8
    ports:
      - "8271:8080"
    volumes:
      - /volume2/docker/ollama/webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - WEBUI_SECRET_KEY=XXXXXXXXXzevguyTWvddDgFsptdSEhXqjucDCvUwleiLWFfayVGZ
    depends_on:
      ollama:
        condition: service_healthy

networks:
  ai-bridge:
    name: ai-bridge