Este posibil sa fac un site in WordPress ca mai apoi sa salvez tot site-ul pe un stick? Ma refer daca pot descarca site-ul, cu toată baza de date, scripturi, galerie.

Da
la baza de date se poate face dump (din ssh) sau export din phpMyAdmin
iar intreg site-ul (galerie, etc.) sunt salvate in folderul site-ului sau ftp (daca ai)

TOTUSI daca il faci pe un site cu wordpress deja instalat si nu il instalezi tu manual, atunci o sa fie mai greu pentru ca toate fisierele wordpress s-ar putea sa fie niste link-uri (sau alta solutie)

TOTUSI 2

daca vrei sa faci o prezentare, si nu ai nevoie de site on-line (poti sa faci prezentarea si online... presupun)

atunci poti sa faci site-ul local, chiar pe un usb cu ceva de gen EasyPHP sau alternatives
https://alternativeto.net/software/easyphp/
(EasyPHP a fost primul de care am auzit, acum pare fi depasit)
se pare ca xampp e cel mai bun:
https://www.google.com/search?q=xampp

PS solutia de mai sus merge binemercic in windows, fara nici un server, OARECARE;)