Download guide?

[wtf]

Ciao a tutti, dopo eoni di assenza mi rifaccio vivo con una semplicissima domanda: non c'è più lo strumento per salvarsi le guide in locale? Se no, come è possibile farsi una copia locale di tutto il wiki?

Grazie

[marcomg]

Ciao e bentornato se non ricordo male c’era una procedura che creava un dump html del wiki. Non ricordo attualmente il link. Lo script dovrebbe essere attivo su cron (ogni giorno), o almeno ricordo che lo avevo configurato.
Ora se si sia inchiodato non ne ho idea né ricordo a quale url fosse raggiungibile (personalmente è una cosa che non ho mai utilizzato).

Domani pomeriggio dovrei essere in grado di guardarci. Se però mi dici più nel dettaglio a cosa ti può essere utile magari riesco ad estrarti qualcosa di più adatto.

Ciao!

[wtf]

Semplicemente vorrei aggiornare la mia copia di backup, visto che sono passati quattro anni dall'ultima copia.

Sul wiki ho trovato una pagina con uno script in python che permette di scaricare tutti i sorgenti delle guide, però a me interessa proprio avere qualcosa di consultabile nel caso per disgrazia dovesse succedere qualcosa al wiki.
Nel frattempo ho trovato uno strumento pensato proprio per leggere in locale delle copie di mediawiki, che si chiama kiwix ed è anche disponibile direttamente da repository debian.
Tale strumento però è solo un lettore, non permette di fare una copia di un mediawiki qualsiasi. Per fare una tale copia gli autori di kiwix suggeriscono di usare openZIM, e io nello specifico sto provando ad usare la soluzione con script (wget-2-zim). L'unica cosa è che l'ho lanciato ieri sera poco dopo la mezzanotte e ancora non ha finito di scaricare file ... attualmente vedo che la directory con la copia delle guide ha dimensione 1,6 GB e quasi 45600 file ...
Magari nella pagina di openZIM trovi qualcosa di utile per creare direttamente tu in automatico una copia del wiki che poi sia scaricabile da chiunque.

EDIT: ho provato anche ad usare il loro servizio zimit e questo sembra funzionare, tra l'altro il file zim creato occupa solo 134 MB.

[marcomg]

Attento al download rate se troppo elevato che potrebbe intervenire il ban temporaneo (e se ancora più alto un ban di 3gg) sul firewall (devo dire che recentemente è stato addolcito) contro attacchi ddos.

a me interessa proprio avere qualcosa di consultabile nel caso per disgrazia dovesse succedere qualcosa al wiki

Su questo al momento sii tranquillo. Lato server abbiamo molte copie di backup (locali sul server, del server stesso fatto dal gestore, locali da me e in cloud). Se dovessimo “stancarci” lasceremo in eredità i database puliti dei dati degli utenti

Comunque domani do un’occhiata, MediaWiki dovrebbe avere script lato server che sicuramente sono più veloci in esecuzione piuttosto che passare attraverso il server web.

Ti aggiornerò quanto prima

[marcomg]

Ti aggiorno, avevo il cervello fritto e la memoria bacata. Quanto ho detto è vero, ma per la generazione dei sitemap, quindi non abbiamo alcun dump html o pdf generato pronto da scaricare (strano in tal caso che non avessimo un link in effetti).

Magari nella pagina di openZIM trovi qualcosa di utile per creare direttamente tu in automatico una copia del wiki che poi sia scaricabile da chiunque.

Sono aperto a questa possibilità, ma con calma. Nel senso se trovi qualcosa di facilmente praticabile posso farlo in tempi brevi, altrimenti se devo cercare in autonomia i tempi si allungheranno un po' di più per i vari impegni personali e lavorativi.

Comunque per le dimensioni siamo sui 600MiB del file system e 450MiB il dump del database. Se il download lo fa ad html sarà sicuramente molto, ma molto più grande il totale.

[HAL 9000]

Una volta c'era in guide.debianizzati.org/dump , ma si trattava solo di un archivio compresso delle pagine HTML aggiornato settimanalmente che ogni tanto si bloccava ( viewtopic.php?t=22414&start=75 )
Ho trovato sul mio PC un download risalente al 2019 di circa 5-6 MB.

Per i sorgenti invece si usava lo script (che scaricava solo dal namespace principale), ma non era facilmente importabile (è tutto in un singolo file di testo) e mancavano tutti i file di configurazione MediaWiki, così come tutte le revisioni precedenti di ciascuna pagina.
Era comodo però per ricerche avanzate su tutto il contenuto del wiki con espressioni regolari, ecc...

[marcomg]

e mancavano tutti i file di configurazione MediaWiki, così come tutte le revisioni precedenti di ciascuna pagina.

E lo credo bene ci sono anche le password del database nel file di configurazione per carità, è accessibile solo da localhost, però…

L’estensione che veniva utilizzata era DumpHTML. Non è più compatibile da tempo con MediaWiki da quanto vedo.
Credo anche che in pochi abbiano interesse in questa cosa dal momento che internet è sempre più pervasivo e stabile, per questo non è più stata manutenuta.

Comunque vediamo se si trova altro