Ruhların Sonbaharı, Colorado’da yan yana yaşayan iki dulun yalnızlıklarını paylaşmaya başlamasını anlatıyor. Addie Moore, yıllardır selamlaşmadan yaşadığı Louis Waters’ın kapısını çalıyor ve geceleri birlikte vakit geçirmeyi teklif ediyor. Louis önce çekingen davranıyor, sonra bu fikre alışıyor. İkisi de akşamlarını aynı evde geçirirken küçük kasabalarındaki yaşamları da değişiyor. Louis Waters’e hayat veren Robert Redford, Addie ile kurduğu bu yeni düzende eski alışkanlıklarıyla da yüzleşiyor. Bu sırada Gene, Jamie ve Holly gibi isimler onların çevresinde yer alıyor. Addie ile Louis, gündüzleri kendi evlerine dönüyor ama geceleri yeniden buluşuyor. Bu sessiz yakınlık, ikisini nereye götürecek?