>Wat ik hier niet begrijp is dat de persoon toch wel energie erin moet stoppen om het voorwerp vooruit te blijven duwen.

Je hebt gelijk wat de arbeid betreft die het voorwerp gebruikt: die is nul. Zoals een ijshockey puck wrijvingsloos over het ijs glijdt.

Alleen kijken we nu naar de arbeid die de aanduwer verricht. Als hij geen kracht uitoefent, is die nul. En het voorwerp ligt stil. Als hij wel een kracht uitoefent, dan levert hij een arbeid W = F x s en die is niet nul. De grond oefent een tegenkracht F uit en levert een negatieve arbeid (d.w.z. consumeert, absorbeert, neemt op) F x s : de grond wordt warmer - maar waarschijnlijk onmeetbaar. 

Arbeid wordt dus geleverd door de beide partijen die OP het voorwerp werken. Het voorwerp zelf doet niks en levert/gebruikt ook geen arbeid.

Dit schuurt aan tegen de vaak halfbegrepen 3e wet van Newton. Een paard trekt aan een kar en de kar trekt even hard terug. "Dus" beweegt de kar niet. Maar we moeten kijken naar de krachten die OP het paard werken (en netto beweegt het paard vooruit want F_{wrijv grond} > F_kar) en niet krachten op paard en kar bij elkaar tellen.