Trước đó, vào tháng 9-2011, UBND tỉnh Khánh Hòa đồng ý giao di tích lầu Bảo Đại cho liên doanh Tổng Công ty Khánh Việt (Khatoco - đơn vị quản lý lầu Bảo Đại) và Tập đoàn Hà Đô thành lập Công ty CP Đầu tư Khánh Hà để thực hiện dự án khu biệt thự nghỉ dưỡng cao cấp Bảo Đại.
Đến tháng 8-2013, tỉnh Khánh Hòa thu hồi di tích lầu Bảo Đại từ Công ty Khatoco giao hẳn cho Tập đoàn Hà Đô, trong đó có 5 ngôi biệt thự cổ để làm dự án biệt thự nghỉ dưỡng đẳng cấp 5 sao. Trong quá trình thực hiện, chủ đầu tư đã có nhiều vi phạm, bị thanh tra Sở Xây dựng tỉnh Khánh Hòa xử phạt vi phạm hành chính, đình chỉ thi công vi phạm từ tháng 8-2017.
Sau đó, hai doanh nghiệp vẫn tiếp tục vi phạm và bị đình chỉ thi công (tháng 5-2018) cho đến nay. Hiện, 5 ngôi biệt thự cổ đã xuống cấp, một số hư hỏng ở mức nghiêm trọng.
