debian 12, GeForce RTX 4090 e openai whisper

[sphawk]

buongiorno a tutti (e buone feste).
ho appena finito di installare openai whisper sulla mia deby 12.
le performances sono terribili, ovviamente xe' manca una scheda con tensor cores e compagnia bella.
ho una sceda madre non particolarmente aggiornata

Codice: Seleziona tutto

# dmidecode 3.3
Getting SMBIOS data from sysfs.
SMBIOS 2.8 present.

Handle 0x0002, DMI type 2, 15 bytes
Base Board Information
        Manufacturer: Micro-Star International Co., Ltd.
        Product Name: X470 GAMING PLUS MAX (MS-7B79)
        Version: 3.0
        Serial Number: KC16081587
        Asset Tag: To be filled by O.E.M.
        Features:
                Board is a hosting board
                Board is replaceable
        Location In Chassis: To be filled by O.E.M.
        Chassis Handle: 0x0003
        Type: Motherboard
        Contained Object Handles: 0

leggendo in giro, la miglior (lato AI) scheda grafica compatibile con questa MB sembra essere la GeForce RTX 4090.
volendo evitare di spendere 2.500 bombe per poi non aver nessun beneficio, mi chiedevo se qualcuno di voi è riuscito ad utilizzarla (se non sbaglio, va installato cuda e drivers nvidia).

[marcomg]

Non uso una scheda nvidia da un po’, ma con i driver proprietari solitamente non c’erano grossi problemi.

[sphawk]

grazie per la risposta marco.
tu avevi installato anche il supporto CUDA?
perché i drivers (da quel che ho letto) sono abbastanza semplici da reperire, mentre non ho per niente la sicurezza che il supporto CUDA si possa attivare facilmente.

[njkjta]

Qua dovresti trovare tutte le info ufficiali di Nvidia per installare Cuda su Debian 12.
Ho trovato anche questo link, esterno al sito nvidia, che dovrebbe riportare più o meno gli stessi passaggi.

Io utilizzo CUDA a supporto dell'elaborazione delle foto RAW con Darktable, però ho installato il software su un'altra distro, quindi non fa testo.

Njkjta

[sphawk]

ok, mi sa che l'unica è rischiare e provare a vedere se c'è una differenza che merita la spesa.
grazie a tutti
se non mi sentite +, mi sono suicidato x aver buttato 2.5k€ altrimenti, cerco di aggiungere qualche stats x i posteri

[marcomg]

Magari compra dove riesci a fare il reso.

[sphawk]

si, stavo pensando di lasciar passare le feste così poi se ho bisogno dell'aiuto della community, magari trovo + gente

[sphawk]

Alla fine ho optato per una RTX 4060 TI che costa un pelino meno e ha prestazioni di poco inferiori (a livello AI).
Ho qualche problemino ad installare i drivers (usando solo linux lato server, non ho mai avuto bisogno di installare i drivers di una scheda video).
Ho seguito la procedura a pagina https://wiki.debian.org/NvidiaGraphicsDrivers ma mi sa che qualcosa non è andato per il verso giusto.

Codice: Seleziona tutto

nvidia-detect
Detected NVIDIA GPUs:
27:00.0 VGA compatible controller [0300]: NVIDIA Corporation AD106 [GeForce RTX 4060 Ti] [10de:2803] (rev a1)

Checking card:  NVIDIA Corporation AD106 [GeForce RTX 4060 Ti] (rev a1)
Uh oh. Your card is not supported by any driver version up to 545.23.08.
A newer driver may add support for your card.
Newer driver releases may be available in backports, unstable or experimental.

Qualcuno sa come risolvere?

[azioga]

sembra che la tua scheda sia supportata da driver non ancora pacchettizzati per bookworm

direi che sono presenti in experimental, quindi ci vuole ancora un po' di tempo
https://packages.debian.org/source/expe ... cs-drivers

però puoi installarli dal .run
https://forums.developer.nvidia.com/t/t ... -04/256357

forse questo è più aggiornato
https://www.nvidia.com/Download/driverR ... 147/en-us/

[sphawk]

grazie azioga per la risposta.
avevo già provato ad installare NVIDIA-Linux-x86_64-535.154.05.run
può essere che ho fatto qualche casino seguendo diverse procedure?
cmq sembra che la scheda in qualche modo sia trovata e utilizzata

Codice: Seleziona tutto

nvidia-smi
Mon Jan 29 18:09:10 2024
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.23.08              Driver Version: 545.23.08    CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     Off | 00000000:27:00.0 Off |                  N/A |
|  0%   36C    P0              27W / 165W |      1MiB / 16380MiB |      2%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|  No running processes found                                                           |
+---------------------------------------------------------------------------------------+

Qua la versione sembra essere la 545.23.08.
Avevo fatto dei test di utilizzo di whisper prima di montare la scheda video

Codice: Seleziona tutto

time whisper <file> --language Italian --model large --fp16 False

questi i risultati

Codice: Seleziona tutto

file	test_2_min.mp3
real    7m20,280s
user    37m42,891s
sys     4m20,852s


file	test_10_min.mp3
real    57m23,631s
user    323m22,681s
sys     14m31,599s


file	test_30_min.mp3
real    131m10,626s
user    710m4,534s
sys     62m51,220s

Ora ho provato a rifare le 3 trascrizioni e i risultati sono nettamente migliori:

Codice: Seleziona tutto

file	test_2_min.mp3
real    0m36,840s
user    0m40,877s
sys     0m4,475s


file	test_10_min.mp3
real    2m29,489s
user    2m33,009s
sys     0m4,632s


file	test_30_min.mp3
real    6m44,303s
user    6m50,079s
sys     0m6,661s

quindi direi che forse con sta scheda video ho risolto... non ci posso credere.

[azioga]

Bene.

l'installazione dal .run può darti qualche problema in fase di aggiornamento del kernel.
devi installare, possibilmente in maniera automatica, gli headers relativi e avere la gestione dkms attivata.
così, quando scarichi un nuovo kernel, scarichi anche i suoi headers e dkms si preoccupa di generare i moduli di nvidia.

se sei curioso puoi provare anche con driver più recenti.