Khi cộng đồng cư dân làng đảo Quan Lạn còn ở Cái Làng, họ cũng đã dựng nghè để thờ Trần Khánh Dư. Dấu vết ấy nay còn tìm thấy ở Vụng Nghè. Và khi phải dời cư đi nơi khác cùng với việc chuyển đình họ cũng đã chuyển nghè đi theo như một phần hương hoả của cả cộng đồng. Ngôi nghè cũ được xây từ thời cư dân Cái Làng mới về lập cư ở Quan Lạn hiện nay không còn nữa. Theo di ngôn của một số bậc tiền bối thì nghè thờ Trần Khánh Dư xưa khá khang trang, được xây dựng theo kiểu chữ đinh, bốn góc có đao con...