Tepedeki Ev, 1963 Yokohama’sında yaşayan Umi ile Shun’un okul binası tartışması arasında başlayan yakınlaşmasını anlatıyor. Umi, her sabah denize bakan evlerinden bayrak kaldırıp güvenli seferler diliyor. Shun, bu bayrağı görerek ona ilgi duyuyor ve okulda Umi ile karşılaşıyor. İkisi, eski kulüp binasını korumak isteyen öğrencilerle binayı yıkmak isteyenler arasındaki çekişmenin içine giriyor. Umi, yapıyı temizleyip yeniden canlandırmak için bir çalışma düzenliyor. Bu sırada aralarında kardeş olabileceklerine dair bir ihtimal ortaya çıkıyor. Buna rağmen gerçeği öğrenmeye çalışıyorlar ve ailelerinin savaş yıllarındaki geçmişini araştırıyorlar.