Spændvidden i Hertz' lyriske produktion stor. Hertz' digtekunst omfatter rene lyriske stykker, selvbiografiske og bekendende digte, skæmtende rimbreve, rolledigte, satirer og fortællende digte, hvoraf flere er nordisk-mytologiske af karakter. Også i hans lyrik fornemmer man dramatikerens Hertz' sans for absurde situationer og besynderlige figurer. Det ser man fx i showstykket „Skriftemaalet“, hvor den ærværdige pater Joseph er villig til at lade enhver synd passere, blot der bedes lidt bønner og foræres stadig større mængder vokslys til klosteret. Men da det afsløres, at alle skriftebarnets synder er begyndt med, at han af nød og sult har stjålet en kapun fra den ærværdige pater selv, er det slut med syndsforladelsen. Blandt de "kendteste af Hertz' poetiske arbejder den korte digtkreds „Erindringer fra Hirschholm“ (1832), der består af „Posthuset i Hirschholm“, „Billardet i Hirschholm“ og „Hyacintherne“. Digtenes baggrund er det førnævnte ferieophold med ægteparret Heiberg, hvor bl.a. deres fælles Bellman-interesse udgjorde en del af underholdningen, og digtkredsens to første digte er da også skrevet på strofeformer hentet i Fredmans Epistler. Bellmans erotiske frimodighed er stærkt dæmpet hos Hertz, men blandingen af vemod og letsind, den stilistiske elegance og sansen for antydningen og detaljen deler Hertz med Bellman. Centralt i digtene står Johanne Luise Heiberg, der opfattes i et idyllisk skær med strejf af en kun halvt udtalt erotik. " (Dansk Litteraturs Historie)