Er der nogle der kan komme med råd eller forslag til hvordan jeg bedst laver en lokal søgemaskine til mine dumps, der er en del GB så det skal være noget der sparker røv, har tænkt på node js + mongodb + elasticsearch forslag er velkomne :) Muligheden for at importere .csv osv ville være kanont også.
For hastighed vil jeg klart bare lave noget med grep. grep alle filer i din mappe med dumps, burde ikke tage mere end et par sekunder.
Kan grep over 70 gigabyte på cirka 2 minutter på mine SSDer
Hvilken filtype er dine dumps fra? Kun .csv eller også .sql?
.sql, .csv, .txt hvad man nu for ned. Jeg kan dog lave dem om.
Tak ash, jeg kender godt grep kommanden jeg kunne bare godt tænke mig at have et visuelt og brugervenligt miljø til det. ala
https://haveibeenpwned.com/ or whatever.
Skal nok selv style og programmere frontenden det er ikke så vigtigt bare jeg kan få et overblik og søge i mine databaser/filer og se dem.
Så ville jeg nok smide det ind i en MongoDB database, lave en simpel backend i NodeJS og en endnu mere simpel frontend. Laver du noget indeksering i databasen, så kan du requeste det ekstremt hurtigt.