Indizierte Dateisuche mittels Bezeet

[yasdfgr]

Hallo Community,

der Speicherplatz wächst immer schneller, dazu das große Dateichaos.
Manchmal findet man, trotz guter Ordnerstruktur, Daten nicht mehr.
Wer von euch wünscht sich auch ein "Google" für sein NAS?

Ich suche schon ewig so was - leider hab ich bisher nichts funktionierendes gefunden. Die Desktopsearchlösungen sind nicht befriedigend.

http://bzeeet.sourceforge.net/
ist genau das was wir brauchen. Es hat einen zeitgesteuerten Indexer, der die Dateien durchsucht und die Stichworte in einer MySQL Datenbank ablegt.
Mit einer Weboberfläche kann man dann suchen.

Hat jemand von euch das KnowHow diese Applikation für Synology anzupassen und ein Installer-Paket zu erstellen?
Das wäre super!!!

 

[itari]

Ich habe mir das eben mal angeschaut und konnte dabei nicht feststellen, ob da tatsächlich auch Dateiinhalte in die Suche einbezogen werden können. Für mich stellt es sich im Moment dar als würden nur Dateinamen gehen. Es sind auch keine Plug-ins zu sichten, die Beispielsweise PDF-Dokumente durchsuchen könnten.

Wenn sich die Suchfunktion nur auf Dateinamen beschränkt, dann könnte man sich auch den AjaXplorer installieren *guck*. Dieser ist auch recht umgänglich und kann auch noch MySQL-Datenbanken ...

Itari

 

[yasdfgr]

also ich hab mir das jetzt mal angeschaut:

* bzeeet indiziert "nur" Dateinamen, wobei das schon mal hilfreich wäre

* AjaXplorer: so wie ich das sehe fängt der auch erst an loszusuchen wenn ich das Suchwort eingegeben hab - das kann bei 4TB schon extrem lange dauern

So eine indiziere Suche ist schon sehr hilfreich!! Gibts da nix für linux was man anpassen könnte?
Viele MAC-User wollen auch gerne einen Spotlight-index auf dem NAS.

Kann man das eigentlich bei Synology als Feature-Request loswerden?

 

[jahlives]

Kann man das eigentlich bei Synology als Feature-Request loswerden?

Synology ist eine der Firmen die erstaunlich oft auf User-Input reagieren und auch Wünsche in künftigen Firmware integrieren. Wende dich an den Synology Support (am besten in Englisch)

 

[coolhot]

Wäre es nicht auch ne alternative die gewünschten Shares in den Index der Desktopsuche (also z.B. MS Desktop Search in Win Vista/7 oder Google Desktop Search) aufzunehmen? Die indizieren auch Dateiinhalte und Metainformationen.

Nachteil ist natürlich die nur lokale Verfügbarkeit des Index. Lieber wäre mir auch eine die direkt auf der DS läuft und von allen Clients abfragbar das gleiche Ergebnis liefert.

Für den Unternehmenseinsatz gibt es eigene Index- und Suchserver z.B. Google Search Apliance oder SAP TREX bzw. Enterprise Search. Das ist für daheim aber etwas übertrieben und zu teuer.

Hat schon jemand den Feature Request an Synology gestellt?

 

[itari]

Wer einen auf einer Skript-Sprache (PHP, Perl, sh) basierten Datei-Inhalt-Indexer kennt, welcher GPL ist, der soll sich mal outen. Ich suche schon seit langem nach so etwas. Also Index in MySQL als Volltextindex ist schon klar - Front-End ist egal, da mach ich eh was mit XML draus ... es geht hauptsächlich um das Problem der vielfältigen Datei-Inhalte-Indizierung.

Itari

 

[jahlives]

Wer einen auf einer Skript-Sprache (PHP, Perl, sh) basierten Datei-Inhalt-Indexer kennt, welcher GPL ist, der soll sich mal outen. Ich suche schon seit langem nach so etwas. Also Index in MySQL als Volltextindex ist schon klar - Front-End ist egal, da mach ich eh was mit XML draus ... es geht hauptsächlich um das Problem der vielfältigen Datei-Inhalte-Indizierung.

Itari

Eine kurze Google Suche brachte mal das http://www.phpclasses.org/browse/package/4219.html
Ich habe aber keine Ahnung wie brauchbar das Teil ist und welche Dateiformate inhaltlich durchsucht werden können, aber das

This class can be used to search files in a directory for a given text phrase.

It can traverse a given directory recursively to locate files with certain file name extensions.

The class opens the files found and checks whether they contain the search phrase.

It returns an array with the list of all files that contain the search phrase.

klingt ja schonmal nach ein bisschen etwas

 

[itari]

Ja, das Teil hatte ich mir auch schon mal irgendwann angesehen. War aber wohl nicht so ... denn ich hab mich nicht weiter mit beschäftigt.

Schau dir mal hier den Workshop an. Da ist eigentlich alles drin für ISO-Dateien. Meine Idee wäre halt, auch andere Dateityp-Inhalte so heraus zu holen und zu katalogisieren, aber dafür bräuchte man geeignete Filter. Wenn man nur an den normalen Dateiinfos interessiert wäre, dann könnte man das schon nehmen und ein wenig anpassen. Sind ja nur ein paar Zeilen.

Das Skript läuft bei mir auch einiger Maßen performant auf der DS509+ ... sogar bei mehr als 1 Milliarde Records.

Itari

 

[octopus]

Ist schon jemand weitergekommen bei dem Thema "Indizierung"?

Würde mich sehr freuen!

 

[michael m1]

Hi,

ich arbeite mit einem Mac und mehreren Synology NAS Systemen.
Ich habe eine Idee für einen Indexierer auf NAS BASIS und suche daher zwei Personen für das Projekt.

Ich suche einen Windows Anwender damit das Filesystem auf Windows getestet wird und eine weitere
Person, die sich mit Frontend auf Synology NAS auskennt.

Bei interesse bitte per PN melden

Viele Grüsse

Michael

 

[coolhot]

neues Projekt

 

[coolhot]

interessante Meldung, evtl. alternativer Ansatz: Apache Tika durchsucht 1.200 Dateiformate

 

[duffy6]

Hat jmd einen Indexer mit pdf/docx Parser ans Laufen gekriegt?

gruß
duffy6

 

[michael m1]

Der Algorithmus ist fast fertig. Danach arbeite ich an der Datenbank und Datenstrukturen.
Der Protoyp der Tag Maschine ist fertig und funktioniert einwandfrei.
Ende des nächsten Semesters werde ich die Tag Maschine Plattformunabhängig mit Java Programmieren.

Die Tagmaschine wird dann in den Serverdient integriert und läuft dann auf der DiskStation mit dem Parser zusammen.

michael

 

[papi]

Hi - nachdem ich hier eine ständig wachsende Anzahl von PDF, DOC und PPT Dokumenten habe, wäre ich an so einer Lösung auch sehr interessiert.

"Nach-oben-schieb" - gibt es hier schon Neuigkeiten wann das vielleicht mal verfügbar ist?

lg, papi

 

[michael m1]

Hi papi,

ich tu was ich kann, aber das Projekt ist nicht mal eben eine Datenbank aufzustellen und einen Katalogisierer hinzuzufügen, sondern wesentlich komplexer.
Es wird eine Serveranwendung die zwar alle Dateien katalogisiert und in eine MySQL Datenbank einfügt, aber jede einzelne Datei wird auch noch untersucht.
Ich implementiere in die Serveranwendung noch meine Tag Maschine. Die Inhalt werden auf Metadaten geprüft und abgeglichen. Datumsangaben herausgesucht
und für die Datensicherung, Archivierung uns Auslagerung werden verschiedene Informationen errechnet.

Ausserdem hatte ich auch schon erwähnt, das ich noch all das ganze Werkzeug dafür noch erlernen muss.
Das Informatikstudium läuft gut und bin froh, das ich diesen Weg eingeschlagen habe. Im Vergangenen Semester habe ich einiges gelernt und es ist ebenfalls in die
Entwicklung mit eingeflossen.

Ein weiterer Teil ist die Clientanwendung, die Platformunabhängig arbeiten soll und wird deshalb in Java geschrieben.
Nächstes Semester (Sommer) habe ich Objektorientierte Programmierung zusammen mit Datenbanken und Datenstrukturen belegt.
Das wird dem Projekt einen erheblichen Schub geben, aber nicht vergessen, das ich daran alleine in meiner Freizeit arbeite.

Meine Dokumente habe ich zur Zeit in Devon Think Pro Office, damit ich überhaupt etwas wieder finde, aber es ist für mich nur eine Notlösung.
michael

 

[papi]

hi michael,

alles klar, will ja nur motivieren, daß es hier Einen mehr gibt, der an so einem indexer seine helle Freude hätte!
Eigentlich mehr als verwunderlich, warum sowas nicht von Synology direkt kommt, die müßten doch großes Interesse haben, Benutzern mit stetig wachsendem Datenvolumen
- eine serverseitige Volltextindizierung zur Verfügung zu stellen,
- plattformunabhängig
- mobil abzufragen
- als perfekte Implementierung seiner eigenen, persönlichen Cloud.

Mit dem DSM 4.0 hätte ich das sehr erhofft, aber wer weiß, vielleicht wird's mit DSM-4.1 was...?!?!

Hast Du übrigens schon mal Synology gefragt ob sie Ähnliches nicht schon vorhaben?

Übrigens, da läuft der andere Thread zum gleichen Thema, würde es nicht Sinn machen, die zwei zu konsolidieren?
http://www.synology-forum.de/showthread.html?21521-Synology-Indexer&goto=newpost

Dort habe ich übrigens auf Docfetcher verwiesen, welcher ggf. als Frontend dienen könnte, aber um das zu beurteilen fehlt es mir am nötigen Hacker-Know-How...

lg, papi

 

[michael m1]

Freut mich, das Du reges Interesse daran hast.
Mich wundert nur, das es nicht mehr gibt, denn die Flut von Papier und multimedialen Inhalten steigt stetig an.
Das ablegen und wiederfinden von Dokumenten wird ohne bestimmte Techniken bald nicht mehr möglich sein.
Sogar Privatleute besitzen mittlerweile so viele Dokumente, wo das wiederfinden Schwierigkeiten bereitet.

Den Thread zu konsolidieren wäre ein gute Idee, weil es um den gleichen Inhalt geht.

Ich habe Synology diesbezüglich angesprochen, aber ich glaube nicht das die wirklich verstanden haben, worum es hier geht.
Der Indexer und das Frontend ist der Beginn eines neuen DMS Systems, das ich über 8 Jahre entwickelt habe und nun zusammen
mit meinem Informatikstudium realisiere. In den letzten zwei Jahren habe ich einen funktionsfähigen Prototypen geschriebenen,
der wirklich gut funktioniert, aber nur auf Macintosh Basis mit provisorischer GUI arbeitet.

Das ich dabei auf Synology NAS zugreife hat damit zu tun, das ich solche Geräte im Einsatz habe.

Nach dem Abschluss des Studiums wird sogar eine neue Hardware gebaut, die einiges an Datenmanagemtfuktionen Hardwaremässig
implementiert bekommt, inklusive Duplikaterkennung, Datenintegität, Datensicherung und Archivierung, sowie die Auslagerung von Dokumenten usw..

Also ein schönes Stück Arbeit.

Viele Grüsse
Michael

 

[Medvezhonok]

Moin Gemeinde,
Zur Info: Hinsichtlich Anfrage einer solchen Funktionalität an Synology kam leider die übliche Standardantwort von Hr. Poll...

Wir sind stets darum bemüht, unsere Produkte an die Anforderungen unserer Kunden anzupassen und zu verbessern. Deshalb schätzen wir Ihre Funktionsanfrage sehr und bemühen uns diese umzusetzen. Ich werde Ihre Wünsche direkt an unsere Entwickler weiterleiten.

Die Anfrage war folgendermaßen:

Dear Synology Developer Team,
I'm looking for a solution which offers index based search of some several thousand MSG e-mail messages and their enclosed attachment and metadata (sender, recepient, sent). The query should run through an password-protected webpage. I would love to see this solution running on my DS411slim. This would make Synology the *real* must-have for My Own Cloud. I've seen that similar requests may have been raised to you through the German Synology Forum already several times, with an active development by a student (http://www.synology-forum.de/showth...teisuche-mittels-Bezeet&highlight=index+suche).
I believe that such document management feature will become a must-have for NAS, and it will be a competitive advantage for a vendor offering this to consumers, allowing consumers to manage their gazillions of private data (not limited to media data like pictures, movies, music) in their own premises.
Has Synology plans to offer this as SPK, let it be free or paid extra?
Thanks for some guidance & advice.

Normalerweise verschlafen die Kollegen in Asien keinen Trend, sonst wären die Syno-Boxen nicht dort wo sie heute sind. Aber hier habe ich wenig Hoffnung auf kurzfristige Hilfe....
Aber schau 'mer mal.

 

[itari]

Normalerweise verschlafen die Kollegen in Asien keinen Trend, sonst wären die Syno-Boxen nicht dort wo sie heute sind. Aber hier habe ich wenig Hoffnung auf kurzfristige Hilfe....
Aber schau 'mer mal.

Es wäre ja jetzt in der falschen Ecke gedacht, dass Synology eine solche Anwendung selbst entwickelt - sinnvoll wäre ein Portierung, die dann auch keine Leistungsengpässe hervorruft. Kennst du denn eine Anwendung, die man recht einfach auf die DS portieren könnte und die unter einer freien Lizenz steht? Ein solche Anwendung dann vorschlagen, wird der erfolgversprechendste Weg sein.

Itari