Echter, Elburg was ook beeldend kunstenaar (én docent aan de latere Rietveldacademie, én reclameman – hij bedacht de beroemde DAF-slogan ‘het pientere pookje’). Zijn oeuvre bestaat voor een substantieel deel niet alleen uit poëzie, maar ook uit schilderijen, collages, tekeningen en objecten. Een deel daarvan behoort tot de collectie van het Cobra Museum en hangt regelmatig op zaal tijdens collectiepresentaties. De schilderijen sluiten goed aan bij de Cobra-stijl; denk bijvoorbeeld aan het duidelijk door kindertekeningen beïnvloede Zwaaiend kind met parachute. De collages daarentegen neigen veel sterker naar dada en het surrealisme. Ook in zijn literaire werk was hij tegendraads en zette hij de taal graag op zijn kop. Een van zijn bekendste regels draait een bekend cliché om: ‘Prijs de dag voor het avond is’.

Elburgs poëzie werd opgenomen in de spraakmakende bloemlezingen Atonaal en Vijf 5tigers, die belangrijk waren voor de receptie van de Vijftigers-poëzie. Opmerkelijk genoeg wilde Simon Vinkenoog, die Atonaal samenstellen, Elburg buiten zijn bloemlezing houden, omdat hij niet experimenteel genoeg zou zijn. Onder druk van Lucebert ging Vinkenoog toch overstag. Zoals gezegd was hij in de dichterskooi aanwezig, maar leverde hij ook een visuele bijdrage – een controversiële zelfs. De vierde editie van het tijdschrift Cobra was tevens de catalogus bij de expositie, en daarin stond Elburgs collage La putain de classe afgedrukt: de hoer van klasse. Te zien was het lichaam van Titiaans beroemde Venus van Urbino, maar dan voorzien van het hoofd van een oudere Amerikaanse vrouw. Drie gluurders staarden naar haar. Dat leidde tot zo’n ophef – op een al niet van schandalen gespeende expositie – dat het nummer in kwestie mocht niet langer in het Stedelijk verkocht worden.

Begin jaren ’10 van deze eeuw stond Elburg weer in de belangstelling – in vrij beperkte kring weliswaar, maar toch –, dankzij een aantal publicaties. In 2012 verscheen de door Jan van der Vegt geschreven Elburg-biografie De man met de drietand, evenals Ik zie scherper door de taal: Een bloemlezing uit zijn gedichten. Ook verscheen een brievenboek dat een deel van zijn correspondentie bevatte met de grotendeels onbekend gebleven mede-Vijftiger Koos Schuur (1915-1995). ‘Eerherstel’ en ‘herontdekking’ zouden te grote woorden zijn, maar er werd weer over Elburg geschreven – en daarbij kwam ook regelmatig zijn beeldende werk ter sprake.