Synology AI Console - Nun ist die KI auch bei Synology angekommen

[Andy+]

Ich habe mir die Synology AI Console eingerichtet und als Datenbasis dafür die Docker-Container Ollama und Open WebUI laufen und Open WebUI mit der AI Console verknüpft. Das läuft soweit ganz gut und man kann innerhalb der Synology Groupware diverse Inhalte erstellen lassen, z.B. in Mailplus ein Anschreiben an eine Versicherung übver Änderung oder Kündigung, Formelvorschläge im Tabellentool, Textvorlagen in Worddateien wie in Mailplus usw.

Dockercontainer und Datenbasis sollte aber besser auf SSD / NVMe laufen. sonst ist das etwas lahm. Zudem halte ich die +Modelle schon ziemlich grenzwertig dafür, mindestens XS oder besser für ein flüssiges Arbeiten und ansonsten noch gut RAM dafür, wenn das Ganze mal in Wallung kommt. Wenn da noch andere Container und VMs laufen, sind da 32 GB zu wenig und 64 GB sollten das schon sein. Wobei die Grösse des RAMs noch stark vom verwendeten Modell abhängt, je nach Modellgrösse können auch ein paar 100 GB RAM anfallen..

 

[stevenfreiburg]

Ich experimentiere gerade mit einem eigenen LLM und Open WebUI - spannend, AI mit echter Privacy.
Aber selbst mit leistungsstarker CPU und (mehr als) reichlich DDR5-RAM fühlt sich das Ganze eher wie Zeitlupe an.
Erst mit ordentlicher GPU-Power kommt so etwas wie Dynamik ins Spiel.

AI auf Synology?
Klar, ein LLM mit WebUI lässt sich sogar auf dem eigenen Smartphone installieren (via Termux), läuft vermutlich performanter als auf den meisten (lahmen) Synology Home NAS Geräten.
Wie ein Trecker auf der Formel-1-Rennbahn.
Immerhin, er fährt!
Kann man alles machen.
Die Frage ist nur: Wozu?
Als Geduldstraining?

 

[Andy+]

Dass Synology das mit der +Serie in Verbindung bring, ist eine Lachnummer und auch die XS sind damit eigentlich überfordert, allerdings ist auch das verwendete Modell entscheidend. Ein Vorteil ist, mit Ollama zB. ist das kostenlos. Und wer viel mit MailPlus oder Office arbeitet, hat da schon was davon. Wer hat, kann natürlich auch Microsofts Copilot verwenden oder eine andere KI-Plattform, aber der Nachteil dabei ist, dass darüber eigene Daten immer irgendwie im Internet landen können.

 

[john_do100]

AI, ist derzeit das Thema, da kann Synology nicht dran vorbei, ob es bei den Geräten Sinn macht oder nicht. Ich frage mich nur, wenn die nächste Generation an Hardware an AI angepasst wird, was der Spass dann kosten soll, die Geräte sind jetzt schon nicht billig. Speicher ist nötig, also muss da auch mehr Speicher rein.

 

[Andy+]

Das zeigt Ugreen einerseits beeindruckend. Im Grunde ein gute Konzept, nicht ganz günstig. Störend ist leider der festverlötete RAM.

 

[metalworker]

denke Synology müsste dann ne eigene Reihe Rausbringen.
Aber für meine Gefühl ist das in der Region eher was für endkunden. Und mit denen Tut sich Synology ja gerade schwer

 

[Synchrotron]

Liebe Leute, ein NAS muß nicht alles können. Wer probieren will, sollte einen NUC oder einen Mac mini nehmen. Wer ernsthaft etwas lokal aufsetzen will, dem ist ein Cluster aus 4x voll ausspezifizierten Mac Studio zu empfehlen. Für ein wenig Spielen mit OpenClaw reicht auch ein Raspberry Pi.

Ein NAS ist für lokale KI eher schlecht geeignet, weil der Fokus auf der effizienten Bereitstellung von massiven Datenmengen liegt.

 

[Benie]

Abwarten, wie sich die UGREEN iDX6011 Pro mit lokaler AI zeigen wird. Das ist das erste NAS, daß das haben wird.

 

[Andy+]

wie sich die UGREEN iDX6011 Pro mit lokaler AI zeigen wird. Das ist das erste NAS, daß das haben wird

Meine Eigeninstallation (#41) beweist doch, dass das schon heute geht und gerade dadurch bin ich eher skeptich, dass die iDX6011 eine gute, lokale KI haben sollen, vor allem, weil dort "nur" 32/64 GB RAM zur Verfügung stehen, die auch noch für andere Applikationen reichen sollen. Wenn die also eine lokale KI-Lösung haben sollen, muss man sich das sicherlich genau anschauen. Wenn lokal, kann das nicht viel mehr sein, wie zB. llama 3.2, aber keinesfalls sowas, wie llama 4.0.

 

[Benie]

In erster Linie, ist die KI der iDX6011 auf das auf der iDX interne Geschehen gedacht, zu dieser man im zweiten Schritt, welcher erst später über FirmwareUpdates hinzu kommt, auch gewisse KIs aus dem Internet hinzufügen kann.
Ich denke, man muß das etwas auseinander halten.

 

[Andy+]

KIs aus dem Internet hinzufügen kann

Wenn das Konzept dann sowas ist, wäre das plausibler und auch in Ordnung. Im Grunde wäre das sowas, wie Copilot von MS, wobei ich die Lösung ganz gut finde.

 

[Benares]

Ich weiß gar nicht, was eine KI auf einem NAS überhaupt ist. Braucht es dazu spezielle Prozessoren und nur viel CPU-Power und RAM?

 

[Benie]

https://nas.ugreen.com/pages/ugreen-ai-nas-feature-introduction

 

[Benares]

Na ja, da steht nicht sehr viel. Die haben auch nur fette Prozessoren und viel RAM .

 

[Benie]

Was beinhaltet die KI auf der iDX...

https://ugreen-forum.de/blog/entry/...hers-ki-features-der-ugreen-nasync-idx-serie/

 

[Andy+]

Für mich ist es eine mit KI erweiterte Indexierung. ZB. finde alle Bilder mit roten Blumen usw. Eine normale Indexierung findet sowas nicht, außer es steht im Namen oder vielleicht inhaltlich irgendwo.

Wie bei allen KI-Modellen lebt die Datenbasis von verfügbarem Wissen und von daher wird auch sicherlich Gedöns unter den Ergebnissen sein. Das genannte Beispiel "Suche per Anfrage („Familienfoto vom Geburtstag“)." wird sicher auch Fotos vom Nachbarn oder Freund liefern, wenn die im Archiv sind. Oder ich lass mich mal zur Qualität der Ergebnisse überraschen. Bei älteren Modellen von llama kommt teils ein solcher Mist raus, dass man Zweifel bekommt.

Das im #41 getestete llama 4-Modell ist am weitesten und kommt in die Reichweite von gpt 4 und 5, nimmt sich dafür aber auch gut RAM weg, dafür wären auch 64 GB zu wenig, man hat noch Docker, VMs und letztlich das System, was auch RAM braucht.