Synology AI Console - Nun ist die KI auch bei Synology angekommen

[Andy+]

Ich habe mir die Synology AI Console eingerichtet und als Datenbasis dafür die Docker-Container Ollama und Open WebUI laufen und Open WebUI mit der AI Console verknüpft. Das läuft soweit ganz gut und man kann innerhalb der Synology Groupware diverse Inhalte erstellen lassen, z.B. in Mailplus ein Anschreiben an eine Versicherung übver Änderung oder Kündigung, Formelvorschläge im Tabellentool, Textvorlagen in Worddateien wie in Mailplus usw.

Dockercontainer und Datenbasis sollte aber besser auf SSD / NVMe laufen. sonst ist das etwas lahm. Zudem halte ich die +Modelle schon ziemlich grenzwertig dafür, mindestens XS oder besser für ein flüssiges Arbeiten und ansonsten noch gut RAM dafür, wenn das Ganze mal in Wallung kommt. Wenn da noch andere Container und VMs laufen, sind da 32 GB zu wenig und 64 GB sollten das schon sein. Wobei die Grösse des RAMs noch stark vom verwendeten Modell abhängt, je nach Modellgrösse können auch ein paar 100 GB RAM anfallen..

 

[stevenfreiburg]

Ich experimentiere gerade mit einem eigenen LLM und Open WebUI - spannend, AI mit echter Privacy.
Aber selbst mit leistungsstarker CPU und (mehr als) reichlich DDR5-RAM fühlt sich das Ganze eher wie Zeitlupe an.
Erst mit ordentlicher GPU-Power kommt so etwas wie Dynamik ins Spiel.

AI auf Synology?
Klar, ein LLM mit WebUI lässt sich sogar auf dem eigenen Smartphone installieren (via Termux), läuft vermutlich performanter als auf den meisten (lahmen) Synology Home NAS Geräten.
Wie ein Trecker auf der Formel-1-Rennbahn.
Immerhin, er fährt!
Kann man alles machen.
Die Frage ist nur: Wozu?
Als Geduldstraining?

 

[Andy+]

Dass Synology das mit der +Serie in Verbindung bring, ist eine Lachnummer und auch die XS sind damit eigentlich überfordert, allerdings ist auch das verwendete Modell entscheidend. Ein Vorteil ist, mit Ollama zB. ist das kostenlos. Und wer viel mit MailPlus oder Office arbeitet, hat da schon was davon. Wer hat, kann natürlich auch Microsofts Copilot verwenden oder eine andere KI-Plattform, aber der Nachteil dabei ist, dass darüber eigene Daten immer irgendwie im Internet landen können.

 

[john_do100]

AI, ist derzeit das Thema, da kann Synology nicht dran vorbei, ob es bei den Geräten Sinn macht oder nicht. Ich frage mich nur, wenn die nächste Generation an Hardware an AI angepasst wird, was der Spass dann kosten soll, die Geräte sind jetzt schon nicht billig. Speicher ist nötig, also muss da auch mehr Speicher rein.

 

[Andy+]

Das zeigt Ugreen einerseits beeindruckend. Im Grunde ein gute Konzept, nicht ganz günstig. Störend ist leider der festverlötete RAM.