NAS Casalingo (Debian + Nextcloud)

[njkjta]

Ciao a tutti.
A fronte degli ottimi articoli proposti sul blog da marcomg sul tema in oggetto ho avviato uno scambio "epistolare" con lui che vorrei riprendere qua sul forum con tutti gli utenti interessati all'argomento che in più occasioni è apparso nel forum per avere un confronto sulle possibili soluzioni hardware disponibili attualmente sul mercato o previste nei prossimi mesi.

Sappiamo che l'attuale momento storico non è propriamente quello più adatto per acquistare dell'hardware, sia per i costi sia per la scarsa disponibilità, però sarei curioso di sapere se conoscete piattaforme da consigliarmi (preferibilmente arm) per la soluzione NAS che vorrei realizzare a medio termine, diciamo entro la fine dell'anno, col supporto delle guide condivise sul blog.
Sulla tempistica mi sono preso un pò di margine perché non ho urgenze; la mia idea è quella di gestirmi in proprio la piattaforma Nextcloud che ora utilizzo tramite un provider esterno con uno spazio limitato di dati (10GB). Al momento il grosso dei documenti presenti in cloud sono quelli della ditattica che usa mia moglie per la scuola e qualche decina di megabyte che condivido io per le necessità che si possono presentare in mobilità (scannerizzazione di documenti e poco altro).

L'idea a tendere sarebbe invece quella di usare il NAS con Nextcloud sia per la sincronizzazione dei dati sia per tutti i backup della famiglia, quindi anche filmati e foto pesanti (RAW + JPEG), iso di dvd e la collezione di cd musicali convertita in digitale. Con il NAS in locale potrò gestire tutto lo spazio di cui ho bisogno senza problemi legati al costo dello storage in cloud anche se al momento non stiamo parlando di molti dati: il backup è raggiungibile su un HDD esterno da 3TB che raggiungo tramite il mio Raspberry 2B+ il quale per ovvi limiti hardware non può svolgere il compito di NAS.

Lo scopo è anche quello di affrancarmi dal servizio di sincronizzazione e backup di google Foto che a partire da giugno limiterà lo spazio a disposizione degli utenti.

Avevo fatto un pensiero all'Helios64 di cui parlava anche marcomg ma da quanto mi diceva anche lui risente di limitazioni in gran parte dovute alla progettazione stessa della scheda (peccato).
Voi vi siete già attrezzati con un NAS casalingo, più o meno evoluto, avete qualche consiglio o dubbio da condividere?

Ovviamente nel frattempo attendo con impazienza la guida alla configurazione del sistema di backup automatico.

Njkjta

[marcomg]

ottimi articoli proposti sul blog da marcomg sul tema

Ti ringrazio, sei sempre troppo gentile

Ovviamente nel frattempo attendo con impazienza la guida alla configurazione del sistema di backup automatico.

Mi dispiace per l'attesa, ma purtroppo sono mega incasinato e non so come sto riuscendo a pubblicare un articolo ogni 10 gg circa (forse perché lo prendo come relax). Tra l'altro il mio lettore di bozze (compagna) si è stufata di leggerle (in realtà da un pezzo, mi ha letto solo il primo articolo) e io a scrivere non sono proprio bravissimo (almeno non quanto lei)
Ho programmato per il 16 marzo il prossimo articolo che (errori di forma a parte) è concluso, ma è su exim4 e l'UPS. Quello che ti interessa è in produzione (per ora una piccola intro e comandi a casaccio) e non penso di farcela prima del 24 marzo.

possibili soluzioni hardware disponibili attualmente sul mercato o previste nei prossimi mesi

Io quello che cercherei è una scheda o con slot di espansione PCIe3 almeno oppure più di 4 porte SATA (entrambe sarebbe meglio). Per il resto non mi preoccuperei troppo.

sincronizzazione dei dati sia per tutti i backup della famiglia, quindi anche filmati e foto pesanti (RAW + JPEG), iso di dvd e la collezione di cd musicali convertita in digitale

In totale di quanti dati parliamo? E quanto pensi che aumenteranno nei prossimi 5/6 anni?

Raspberry 2B+ il quale per ovvi limiti hardware non può svolgere il compito di NAS

Questo assolutamente con nextcloud muore male. È stato proprio con un raspberry pi2B+ che ho fatto il primo esperimento con nextcloud anni fa (appena uscito il raspi). Poverino non ce la fa (cioè carica le pagine eh, però è indecente). Poi finalmente quest'anno dopo aver fatto danni grossi con un hard disk portatile mi sono deciso a procedere con un NAS.

preferibilmente arm

Ti chiedo, perché proprio arm? Io anche lo volevo arm ad essere sincero, ma ero più improntato sul fatto che (almeno penso) sarà il futuro, ho personalmente studiato l'architettura e che è a basso consumo energetico.
Purtroppo non ho trovato schede che mi garbassero con arm (ad eccezione di helios64 che tra parentesi sarebbe proprio una gran figata visto che integra anche l'UPS nella board) e alla fine se usi HDD il consumo di un celeron in idle è comunque trascurabile rispetto a quello di un hard drive quindi dal punto di vista energetico arm vs amd64 è trascurabile su un dispositivo del genere.
Arm dal canto suo dopo l'M1 di apple avrà una spinta lato desktop non indifferente, ma ancora non ce l'ha avuta. Vediamo che cavolo faranno i produttori perché la grande personalizzazione dei processori permetterà da un lato di produrre processori molto application specific (quindi ad alto rendimento energetico), dall'altro si rischierà di avere grosse differenze di processori con implementazioni ad-hoc proprietarie (come quella di amazon per i propri datacenter) per via della facilità di personalizzazione e senza una pubblicazione delle specifiche verrà fuori un accozzaglia di roba a breve vita (tipo i cellulari android medi). Non penso si tornerà indietro e tra l'altro se microsoft non si sbriga con windows 10 per arm il mercato sarà spartito tra apple per fascia alta e google sulla fascia bassa (e non so se sia un bene o un male che microsoft esca dalla competizione, penso un male visto che obbligherebbe ad una standardizzazione maggiore dell'hardware). Comunque vabbé digressione non necessaria...
Quello che volevo dire è che penso che con un amd64 per 10 anni ancora (se non muore prima il dispositivo) stai sereno come aggiornamenti. Per arm aspetterei che il mercato si stabilizzi e decida che direzione prendere (insomma per il momento rimarrei con qualcosa di consolidato).

Voi vi siete già attrezzati con un NAS casalingo, più o meno evoluto, avete qualche consiglio o dubbio da condividere?

Io lo sai, ci ho fatto il post https://www.debianizzati.org/il-nas-def ... d-parte-1/

in locale potrò gestire tutto lo spazio di cui ho bisogno senza problemi legati al costo dello storage in cloud

Ah volevo aggiungere. Per il costo non penso andrai a risparmiare molto. Le motivazioni per una scelta del genere secondo me sono una maggiore flessibilità (e personalizzazione), non saturare la banda per i trasferimenti in locale e, soprattutto, sapere come vengono gestiti i dati e i backup (vedi il caso di incendio di ovh).

[njkjta]

Mi dispiace per l'attesa...
Quello che ti interessa è in produzione (per ora una piccola intro e comandi a casaccio) e non penso di farcela prima del 24 marzo.

Se questi sono i tempi allora disdico l'abbonamento alle guide! Scherzi a parte, l'impazienza è legata solo alla mia curiosità quindi ti ringrazio per le energie che ci dedichi spassionatamente nei tempi che ti saranno più consoni.

nn totale di quanti dati parliamo? E quanto pensi che aumenteranno nei prossimi 5/6 anni?

Lo spazio occupato al momento non è molto, siamo intorno ai 2TB, quindi è probabile che inizierò con una soluzione composta da n.1 SSD + n.1 HDD tradizionale in configurazione LVM così da gestirne facilmente il futuro ampliamento come da tue indicazioni.
Il problema delle foto "pesanti" è legato non solo al loro ingombro ma anche alla difficoltà di visualizzarle sul televisore di casa tramite Kodi + Raspberry P2 B+ perché il sistema non regge allo sforzo computazionale e si blocca o riavvia. Serve una GPU (integrata) adeguata se voglio soddisfare tale requisito e questo potrebbe essere il mio dubbio maggiore sulla piattaforma arm.

È stato proprio con un raspberry pi2B+ che ho fatto il primo esperimento con nextcloud anni fa (appena uscito il raspi). Poverino non ce la fa (cioè carica le pagine eh, però è indecente)

Ci credo. Avevo un pi1B+ che usavo con soddisfazione con Kodi (televisore FHD) ma per uso NAS era un suicidio sia per il bus usb/ethernet condiviso (velocità max in lan con iperf non superiore a 30Mbps) sia per i limiti della CPU, poi è morta la porta ethernet. Ora con la seconda versione perdura il collo di bottiglia sul bus quindi i grossi trasferimenti di dati/backup li faccio a freddo staccando l'HDD esterno USB3 e collegandolo al PC.

Ti chiedo, perché proprio arm?

Tendenzialmente per il consumo energetico a cui mi ha abituato il Raspberry.
Mi rendo conto che un NAS è più impegnativo ma non vorrei un mini-pc vecchio stampo; forse per il momento pretendo troppo.
OT: Però già sogno un Pinebook con una CPU arm di fascia alta...

Ah volevo aggiungere. Per il costo non penso andrai a risparmiare molto. Le motivazioni per una scelta del genere secondo me sono una maggiore flessibilità (e personalizzazione), non saturare la banda per i trasferimenti in locale e, soprattutto, sapere come vengono gestiti i dati e i backup (vedi il caso di incendio di ovh).

Concordo con te sul motivo della scelta ovvero libertà e totale controllo dei propri dati, però anche il fattore economico incide: gli ambienti VPS sui quali ho buttato un occhio sono accessibili per tagli di storage di alcuni Gigabyte ma quando si parla di Terabyte il discorso cambia ed il prezzo dell'hardware casalingo si ammortizza rapidamente, se ci sono altre offerte convenienti fatevi avanti.

Poi diciamocelo tra di noi, lo scopo finale è quello di avere un altro giocattolo in casa sul quale mettere le mani, ma non ditelo a mia moglie!

Njkjta

[marcomg]

Serve una GPU (integrata) adeguata se voglio soddisfare tale requisito e questo potrebbe essere il mio dubbio maggiore sulla piattaforma arm.

No su questo non devi avere dubbi. Già le adreno di Qualcomm sono molto performanti. Nvidia integra in Jetson GPU Keplero.
Il problema è che non ho ancora visto schede per nas.

Ci saranno sicuramente, ma secondo me almeno 1 anno di tempo serve.

visualizzarle sul televisore di casa

Quindi vuoi collegarlo al televisore? Helios64 ha una GPU Mali-T860 e nessuna porta HDMI. Dovresti usare un dongle usb tipo C to HDMI.

quando si parla di Terabyte

Per 2 TB circa 100€/year. Considerando i prezzi lo ammorti in 5 anni almeno (escludendo i costi di gestione).
Sui consumi energetici con la mia configurazione dovremo stare sotto i 30 euro l'anno, in realtà un po'meno. Ovviamente dipende dal contratto di fornitura e dai dischi che colleghi (i dischi in idle consumano più del doppio della CPU in idle quindi per ridurre i consumi prima di pensare alla CPU arm è necessario rinunciare agli hdd in favore delle SSD facendo lievitare di molto i costi).

[njkjta]

Quindi vuoi collegarlo al televisore?

Non è un vincolo stringente però se fosse possibile eviterei un componente, il Raspiberry, e andrei diretto sull'home theater poiché la TV, anche se non è smart, funziona bene e non intendo cambiarla.

per ridurre i consumi prima di pensare alla CPU arm è necessario rinunciare agli hdd in favore delle SSD facendo lievitare di molto i costi

All'inizio userei 1 SSD come cache + 1 HDD oltre all'HDD esterno da 3,5" (USB3) che uso attualmente come primario e che diventerebbe il backup a freddo.

2 TB circa 100€/year

In realtà non ne faccio solo una questione di costo: la scelta del NAS permetterebbe di gestire in maniera efficiente tutto l'archivio personale della famiglia e non solo alcuni documenti che decidiamo di mettere nel cloud remoto anzi, (estremizzando il concetto) avere tutti i dati remoti vorrebbe dire dover accedere ad Internet per qualsiasi consultazione (audio, foto, video) con tutti i contro del caso e alla fine dovrei avere anche un archivio locale per non disperarmi come clienti di OVH.

[marcomg]

userei 1 SSD come cache + 1 HDD oltre all'HDD esterno da 3,5" (USB3) che uso attualmente come primario e che diventerebbe il backup a freddo

Guarda, aggiungerei un disco in più:

• ssd come disco os e cache
• Hard disk1 per i dati
• Hard disk 2 per il backup automatico
• Hard disk 3 esterno per il backup del backup da tenere offline (e possibilmente almeno in una stanza differente da dove tieni il nas)

Così non devi stare dietro al backup, se ti dimentichi non è tragica insomma.

avere tutti i dati remoti vorrebbe dire dover accedere ad Internet per qualsiasi consultazione

No ma infatti, soprattutto ne perdi il controllo. Si fa presto dire Cloud, ma spesso è solamente altrove.

dovrei avere anche un archivio locale per non disperarmi come clienti di OVH

Comunque mi viene da ridere che abbiamo un piano di disaster recovery per debianizzati, ma le aziende che vivono sul web non lo avevano
Ah ovviamente devi farti un mini piano di disaster recovery (che può essere molto stupito: tipo sposto il disco di backup nella stanza da letto se tengo il nas in cucina o lo do a tizio che vive a una certa distanza da me, perché se prende fuoco la cucina ho una copia, se vengono i ladri e pensano che il nas sia rivendibile, terremoto, etc).
Forse è paranoia, ma una volta che i dati sono andati puoi solo salutarli alcuni scenari (tipo il terremoto) puoi ignorarli (oltre che darti una grattata), però si valutano i rischi e si decide se e come vale la pena correrli e che contromisure prendere.

[njkjta]

ssd come disco os e cache
Hard disk1 per i dati
Hard disk 2 per il backup automatico
Hard disk 3 esterno per il backup del backup da tenere offline

• L'ssd è già disponibile poiché posso riciclare un vecchio Crucial M4 128GB che è stato usato poco.

• L'hdd 2 ha molto senso però tieni presente che i dati copiati sul NAS resteranno in gran parte presenti in versione "originale" anche sui rispettivi PC casalinghi (fisso e portatile) poiché lo spazio su quei dischi non manca.

• L'hdd 3 è quello esterno USB3 che ora utilizzo collegato al Raspberry per multimedia e backup.

Probabilmente potrei decidere di utilizzare l'hdd 3 solo per i backup di file video/foto voluminosi che archivierò su NAS senza mantenerli su PC.
Comunque, come dicevo all'inizio, i dati da preservare non sono così ingenti.

...si valutano i rischi e si decide se e come vale la pena correrli e che contromisure prendere.

Sono abbastanza paranoico quindi con me sfondi una porta aperta sul tema della sicurezza.
Molto probabilmente terrò in parallelo anche la piattaforma Nextcloud con l'attuale provider ridotta all'osso, anche solo con lo spazio sufficiente ad ospitare la copia del file cifrato (pochi KB) contenente le centinaia di password dei vari servizi/utenze della famiglia che ho in originale sul mio PC in partizione nascosta (e cifrata).

[marcomg]

L'hdd 2 ha molto senso però tieni presente che i dati copiati sul NAS resteranno in gran parte presenti in versione "originale" anche sui rispettivi PC casalinghi (fisso e portatile) poiché lo spazio su quei dischi non manca.

Tieni presente che quando utilizzerai l'applicazione di sincronizzazione di nextcloud essa sincronizzerà i dati sul server. Questo facilità la moltiplicazione dei dati perché ogni computer sincronizzato avrà la copia. Ovvio che il server tiene le versioni e se cancelli un file da PC andrà nel cestino di nextcloud, però se al contrario cancelli un file dall'account di nextcloud e svuoti il cestino, parte la sincronizzazione su tutti i dispositivi e la cancellazione si propaga.

Poi metti che (in tempi brevi si spera) te ne andrai in vacanza, finisci la scheda di memoria, puoi sempre collegare allo smartphone la se card della macchina fotografica e caricare tutto su nextcloud.
A questo punto però che ci sia un backup che parta in automatico non è male in generale è bene sia tutto automatico così puoi dimenticarti che esiste dove c'è lo zampino umano si annida l'errore

foto pesanti (RAW + JPEG)

Che macchina fotografica hai?

[njkjta]

A questo punto però che ci sia un backup che parta in automatico non è male in generale è bene sia tutto automatico così puoi dimenticarti che esiste dove c'è lo zampino umano si annida l'errore

Come non darti ragione. Anni fa, sul portatile di lavoro, facevo manualmente i backup degli archivi di posta Outlook (.pst) circa una volta al mese ma quando me l'hanno rubato mi sono accorto che l'ultimo backup risaliva a sei mesi prima (meglio di nulla ma avrei dovuto fare di più). Ora è sincronizzato nel cloud aziendale e al massimo perdo la posta archiviata il giorno stesso.

Sicuramente mi attrezzerò anche con l'hdd2, magari di identiche dimensioni all'hdd1 ma di marca diversa per evitare coincidenze sgradevoli, almeno spero.

Che macchina fotografica hai?

Messaggio moderatore:
L'off topic è proseguito qui viewtopic.php?f=7&t=56389&p=223867#p223867
- marcomg

[marcomg]

quando me l'hanno rubato mi sono accorto che l'ultimo backup risaliva a sei mesi prima

Io ho passato più di un anno senza backup il karma vuole che si rompe il disco il giorno dopo aver ordinato il disco di backup perché finalmente mi ero deciso che era il momento (ci scriverò un articolo) il recupero è stata un'odissea e qualcosa ho perso (per fortuna solo una decina di RAW che già avevo sviluppato in JPEG)

[njkjta]

Tornando al tema della discussione penso che abbandonerò l'idea della piattaforma arm anche sulla base delle tue indicazioni. Inoltre ho letto un po' di commenti sul forum dell'Helios64 e mi sembra che ci sia gente con problemi di freeze periodici del sistema che non sono stati risolti neanche con gli ultimi kernel.Va bene divertirsi a fare il nerd ma alla fine voglio un sistema stabile, non in perenne beta.
A tale proposito modifico il titolo per rimuovere ARM.

[marcomg]

mi sembra che ci sia gente con problemi di freeze periodici del sistema che non sono stati risolti neanche con gli ultimi kernel

Addirittura hanno dovuto fare un downgrade di emergenza di armbian perché il kernel aggiornato andava in panic.
Ripeto la scheda è stupenda come concept (ha tutto, persino l'ups che tra l'altro essendo implementato a livello di scheda non serve la doppia conversione 230V ac=> 12V dc e viceversa), ma per me non è pronta.

[marcomg]

Ovviamente nel frattempo attendo con impazienza la guida alla configurazione del sistema di backup automatico.

Pubblicato Spero il grande hype non abbia deluso le aspettative

[njkjta]

Me lo sono goduto ora dopo cena.
Non ho capito bene la parte degli script aggiuntivi per il database; non basterebbe fare un backup completo del sistema? Ad esempio attivando timeshift anche solo da riga di comando? Proprio di recente (da live) mi ha salvato la vita per la prima volta. Dopotutto si basa comunque su rsync.
Non conosco rsnapshot quindi non ho ancora idea di come si gestisca il ripristino di queste immagini.

Piccolo refuso all'inizio dell'articolo:

come quando è stato faccio

Comunque complimenti ancora per le guide...non mancherò di assillarti nel momento in cui le metterò in pratica.

Njkjta

[marcomg]

non ho ancora idea di come si gestisca il ripristino di queste immagini

Hai ragione, in settimana aggiorno l'articolo per aggiungere questa parte. In realtà è semplice, dai un rsync per le directory da ripristinare.
Per il database ti collegi via mysql, fai un drop del vecchio, lo ricrei e poi dai un mysql dirigendo in ingresso il file dal (da estrarre con gzip).

la parte degli script aggiuntivi per il database; non basterebbe fare un backup completo del sistema?

Lo script serve a fare un dump del database. Puoi fare certamente anche un backup dei dati di mariadb, però devo stoppare il servizio per essere sicuro che sia stato sincronizzato su disco.
Per fare il dump invece quello che fa lo script è semplicemente settare nextcloud in manutenzione per non fare fare modifiche agli utenti, ma non stoppa nessun servizio.

https://dev.mysql.com/doc/mysql-backup- ... thods.html

You can also create a binary backup simply by copying all table files, as long as the server isn't updating anything. (But note that table file copying methods do not work if your database contains InnoDB tables. Also, even if the server is not actively updating data, InnoDB may still have modified data cached in memory and not flushed to disk.)

Sinceramente per i backup ho sempre fatto il dump in sql. Anche perché è più facile da gestire. Metti vuoi migrare i dati su un server sql con altri database allora è già tutto pronto.
Lo script tra l'altro fa il backup solamente del database di nextcloud e non degli altri. Personalmente lo trovo più comodo.

Piccolo refuso all'inizio dell'articolo

Grazie mille, lo ho corretto

Comunque complimenti ancora per le guide...non mancherò di assillarti nel momento in cui le metterò in pratica.

Grazie davvero Quando lo farai sono qui
Può darsi che nel frattempo, con HAL ne faremo anche una versione wiki (ora vediamo)