La dimensione a-storica di una stampa di Darlington Hall, in primo piano, su cui partono i titoli di testa e un'iris, che lentamente si allarga sull'altroquando in movimento del film. Poi un'automobile, simbolo più che mai abusato della modernità, una musica sottilmente inquietante e la voce over di Miss Kenton, anni addietro governante nella grande casa, che ci guidano verso il luogo della memoria. E il tempo, che si mette in moto. Correrà avanti, tornerà sui suoi passi, salterà a piè pari cataste di anni ordinati con cura l'uno sull'altro nel grande magazzino della memoria. Il romanzo da cui il film è tratto è un diario, l'intenso flusso di coscienza del maggiordomo della grande casa, che, attingendo alla tradizione modernista inglese, fa del tempo il vero protagonista, con lo scopo sia "Di renderci le impressioni e non di narrare" (come scriveva Conrad), sia di testimoniare quanto la dinamica stessa delle associazioni libere nella mente di un maggiordomo old style fosse asservita ad un'estrema, e a tratti maniacale, formalità.

Il tempo, naturalmente, è quello della malinconia, dove il presente, prigioniero dell'etichetta e ossessionato dall'indeterminato, non esiste più. Le grandi personalità che in passato affollavano Darlington Hall hanno lasciato spazio a stanze semivuote e lenzuola che riparano i mobili dalla polvere. L'ingenuità di Lord Darlington e la voglia dell'Europa di guardare avanti dopo la catastrofe della Grande Guerra, come la spensieratezza e la scarsa lungimiranza proprie della gioventù, hanno ceduto il passo ad una società diversa e al vuoto amaro della vecchiaia.

L'Inghilterra è prostrata, Mister Stevens stesso, nel libro, dice di aver dato tutto a Lord Darlington e di comprendere a fatica i suoi nuovi padroni, gli Americani. "Grazie a Mister Lewis le cose cambieranno", spiega il maggiordomo a Miss Kenton, ma mentre apre le finestre, ravvivando la luce all'interno della casa deserta, corre a rifugiarsi nel ricordo di un tempo che non esiste più. Gli è così inevitabile confrontarsi con il suo vissuto e trarre dei bilanci; di una vita, di un'epoca.

Se nel romanzo protagonista è Mister Stevens, la scelta di Miss Kenton come voce narrante nel film, è funzionale alla volontà di Ivory di rendere i sentimenti frustrati della governante come paradigma delle occasioni perdute. E' Miss Kenton a piangere ai piedi del maggiordomo nella penombra della sua stanza, mentre nel libro Mister Stevens preferisce riflettere sulle innumerevoli implicazioni che comporta la sua professione, riferendosi alla faccenda, in maniera peraltro maldestra, solo quando ripensa al periodo glorioso di Darlington Hall, durante il quale "...era come se uno avesse a disposizione un numero interminabile di giorni, mesi e anni, nei quali decifrare le bizzarrie del proprio rapporto con Miss Kenton." "E' stato sempre lavoro, lavoro e poi lavoro. E così sarà sempre", confida a Miss Kenton, sul finire del film, mentre la gente applaude le luci che si accendono sul lungomare. Nel romanzo, invece, aspetta il calar della sera in compagnia di un vecchio cameriere, un estraneo. "Bisogna essere felici", dice questi a Mister Stevens. "Hai concluso una giornata di lavoro e adesso puoi sederti ed essere felice. Puoi chiedere a chiunque e tutti ti diranno la stessa cosa. La sera è la parte più bella della giornata." La partenza non canonica dell'eroe, cui il mentore dona l'oggetto che gli renderà possibile il viaggio ("Voi e la Ford siete perfetti insieme", dice Mister Farraday, ribadendo l'importanza dell'esistenza dell'automobile), non chiarisce se il motivo della trasferta sia cercare di rimediare ai propri sbagli (motivo per cui propende il film) oppure risolvere i soliti problemi con il personale (come invece sembra suggerire il libro).

Durante il viaggio, criticando i principi della Hayes Society, che stabilivano cosa si dovesse intendere per buon maggiordomo, Mister Stevens disserta a lungo su dignità e professionalità, portando vari esempi relativi alla carriera del padre, suo modello, che Ivory condenserà nell'aneddoto della tigre, raccontato a tavola dallo stesso Mister Stevens Senior. Ishiguro si serve qui di due immagini per chiarire il punto di vista del maggiordomo riguardo alle generazioni. La Hayes Society e maggiordomi come suo padre concepivano il mondo come una scala, i ricchi in cima e i poveri al gradino più basso. La loro unica ambizione era arrivare più in alto possibile: "Quanto più in alto fosse salito, tanto più sarebbe aumentato il suo prestigio." La generazione di Mister Stevens, invece, fu la prima ad accorgersi che le grandi decisioni venivano prese in privato, nella tranquillità delle grandi residenze del Paese. "Per noi il mondo era una ruota che girava, avendo come fulcro queste grandi case dalle quali fondamentali decisioni si propagavano all'esterno raggiungendo tutti gli altri che attorno ad esse ruotavano", afferma con convinzione.

Il romanzo stesso si muove su questi due assi interpretativi ben distinti. La scala, che rappresenta il movimento verticale, la gerarchia e un'epoca che sta tramontando (immagine che suggestiona anche il regista) e la ruota, che simboleggia contemporaneamente stasi e movimento, l'automobile, il progresso, Mister Stevens che si allontana da Darlington Hall emancipandosi dal suo ruolo. Ed è solo movendosi altrove, verso una donna più suffragetta che matrona, che il maggiordomo riuscirà a far emergere la sua individualità, finora soffocata dalla professione.

Se Ishiguro, sfruttando soprattutto la suddivisione in capitoli, ci prepara con anticipo al salto temporale, Ivory, fin dall'inizio, si diverte a confonderci, come giocasse il ruolo del bambino ansioso di raccontarci qualcosa che lo ha particolarmente colpito, al quale i ricordi si presentano tutti assieme, e ha bisogno di qualche minuto prima di riuscire ad articolare un discorso comprensibile. Discorso che utilizzerà la musica e quei piccoli elementi di discontinuità che annunciano gli accadimenti di maggior importanza, per riordinare il susseguirsi di scene avvenute in momenti storici diversi.

La trasposizione dal romanzo al film rende inevitabile un attento lavoro di sfoltimento e sintesi. In Quel che resta del giorno si può notare come molti fatti narrati in più parti siano stati condensati in un'unica scena. Parlando del convegno svoltosi nel 1924 a Darlington Hall, Mister Stevens racconta di come Dupont, il tanto atteso gentiluomo francese, dolorante per un terribile mal di piedi, non stesse offrendo un gran contributo ai colloqui. Nel romanzo, Ishiguro lo descrive sul divano, annoiato. Poi rincorre il maggiordomo per chiedergli nuove bende e un pediluvio ristoratore. Nel film, invece, i due momenti sono condensati in un'unica scena in cui vediamo Dupont che, senza nemmeno alzarsi dalla poltrona, formula la sua richiesta, mentre le voci dei potenti, cui il francese non sta prestando la minima attenzione, passano sullo sfondo. L'Europa, un po' ingenua e un po' snob, così presa dalle proprie questioni, non riesce a rendersi conto della gravità della situazione e lascia via libera alla Germania. Mostrandoci il punto di vista di Mister Stevens, il regista ripropone l'immagine della ruota.

Ma l'esempio più interessante è la trasposizione dei crucci di Mister Stevens sulle battute di spirito di Mister Lewis, cui non riesce a rispondere come, secondo lui, questi vorrebbe. Già nelle prime pagine del romanzo, Mister Stevens dice: "Sono certo che egli stesse semplicemente dilettandosi in quel tipo di tono scherzoso che negli Stati Uniti è segno di una intesa corretta e amichevole tra datore di lavoro e dipendente, e alla quale ci si dedica come ad uno sport affettuoso." E più avanti, quando lo stesso Stevens rimpiange di non poter sentire l'opinione sul tema di Mister Graham, un maggiordomo secondo lui tra i più validi. E poi ancora in una locanda dove trascorrerà la notte: "Di recente ho preso l'abitudine di mettermi all'ascolto dell'apparecchio radiofonico, nella mia stanza..." I tempi stanno cambiando, le rigide tradizioni inglesi abdicano in favore dei modi informali degli Americani, il mondo non è più una scala. Ma forse nemmeno più una ruota: i tentativi di Mister Stevens non avranno un grande successo. Nel film tutto ciò è liquidato con un'unica battuta scherzosa di Mister Lewis, mentre fa colazione: "Chi è Stevens, la vostra fidanzata oppure una vostra vecchia fiamma?" Mister Stevens è in imbarazzo e si volta verso la finestra per nasconderlo. Cercando di rimediare, Mister Farraday gli tende addirittura la mano, spiegandogli che si trattava di una battuta, ma un buon maggiordomo non stringe la mano al proprio padrone. "Stevens, questa è un'autentica, antica dimora inglese, non è vero? E' questo che ho comprato. E tu sei un autentico maggiordomo inglese vecchio-stile, no?", chiarisce Ishiguro per bocca di Mister Lewis.

Per l'autore l'ironia è la chiave di tutto. "Immagino sia questo il modo in cui a molta gente piace comportarsi", riflette Mister Stevens nell'ultima pagina del romanzo. "E forse è giunto il momento che io cominci a considerare con maggiore entusiasmo l'intera faccenda dello scambio di battute scherzose...in particolare se accade che in tale scambio si trovi il segreto del calore umano." Secondo Ivory è invece indispensabile uscire dai propri ambiti, viaggiare verso ciò che ancora non si conosce, per emancipare e realizzare se stessi. Qui è il movimento la chiave di tutto. Movimento inteso come progresso, come confronto e quindi come crescita; ma anche, e soprattutto, come viaggio fisico. Questo il significato della scena finale del film, dove il trillo della musica e il primo piano del piccione annunciano l'inaspettato, che irrompe nella monotonia ordinata e rassicurante di Darlington Hall. Un momento in cui Mister Stevens e Mister Farraday si affrancano dei rispettivi ruoli sociali per rincorrere l'uccello. Persino la macchina da presa si libera d'un tratto dal giogo di binari e treppiedi, da un modo per così dire classico di fare cinema, a cui però Ivory non si sente di rinunciare. Ma è solo un attimo, poi il piccione guadagna l'uscita, Mister Farraday torna ai suoi affari e Mister Stevens rientra nel suo ruolo, chiudendo l'inatteso fuori della grande porta finestra che dà sulla terrazza.