Mọi diễn tiến phát triển kiến trúc của trung tâm thành phố hiện hữu đều in bóng trên sông nước, tựa như những dải lụa mềm mại giữa lòng đô thị.
Di sản sơ khai của đô thị hình thành bên sông Sài Gòn còn đó cột cờ Thủ Ngữ, ghi dấu người xưa của thuở xuôi về phương Nam mở làng, lập ấp. Nói về tên gọi “cột cờ Thủ Ngữ”, nhà nghiên cứu văn hóa Nguyễn Đình Tư chia sẻ: “Thủ được hiểu là trạm gác được lập ở những chỗ giáp giới với những vùng rừng núi, chỗ chính quyền chưa kiểm soát được về mặt hành chính. Thủ được thiết lập dọc theo các con suối, đường độc đạo, bến đò ngang, mục đích là kiểm soát sự đi lại và thu thuế. Thủ ngữ có hai nghĩa: một là, chức quan võ phụ trách đội quân canh giữ biên giới; hai là, chức quan trông coi một thủ, nhỏ hơn tuần tỵ, giữ việc thu thuế”.
Theo nhiều tài liệu lịch sử của vùng đất Nam bộ và trong quyển Ký ức lịch sử về Sài Gòn và vùng phụ cận (năm 1885) của Trương Vĩnh Ký, cung cấp thông tin: Sở Thương chánh (Direction du Port de Commerce), cũng gọi là Sở Thủ Ngữ nằm trên địa điểm xưa là một đồn canh và một hành dinh cho quan đại thần từ Huế vào Sài Gòn có chỗ nghỉ ngơi. Như vậy từ trước năm 1802, ở vàm sông này đã có một đồn trú của chúa Nguyễn, vừa giữ gìn an ninh và kiêm luôn chức năng thu thuế. Trên địa bàn tỉnh Gia Định xưa, việc liên lạc công văn giấy tờ chỉ nhờ vào các trạm trên sông.
Cột cờ Thủ Ngữ được người Pháp xây dựng vào tháng 10-1865 tại khu vực ngã ba rạch Bến Nghé gặp sông Sài Gòn, đối diện với bến Nhà Rồng, nay ở đầu đường Hàm Nghi (số 2 đường Tôn Đức Thắng, phường Nguyễn Thái Bình, quận 1). Cột cờ là một bộ phận kỹ thuật có chức năng điều hành tàu ra vào cảng. Kiến trúc của cột cờ Thủ Ngữ khá độc đáo, gồm 3 tầng giật cấp, phần dưới cùng là nền cao, phía trên xây một ngôi nhà bao quanh chân cột cờ, gian chính giữa cao hơn có phần mái hình bát giác...
Với khởi điểm đô thị hình thành từ sông nước, mang nét hội lưu sông - biển, tàu thuyền hay hệ thống cảng trở thành đặc trưng giao thương một thời ở TPHCM. Cột cờ Thủ Ngữ cũng phục vụ cho vai trò giao thương sông nước, trên ngọn treo ám ngữ, ban ngày là cờ vải, cờ màu, hoặc một quả bóng sơn đen; ban đêm treo một ngọn đèn khi trắng khi đỏ làm tín hiệu cho tàu bè từ hướng Nhà Bè vào cảng Sài Gòn được thuận lợi.
Sự phát triển của hạ tầng đô thị hiện đại, cột cờ Thủ Ngữ không còn công năng ban đầu, vẫn đứng đó bên dòng sông di sản - sông Sài Gòn, kể câu chuyện của buổi sơ khai. Đưa nhóm du khách đến từ Hà Lan tham quan thành phố, anh Phan Hoàng Hân (34 tuổi, hướng dẫn viên tự do, ngụ quận 3) chia sẻ: “Cũng nhờ những lần đưa khách đi tham quan như thế này, tôi mới chú tâm tìm hiểu những di sản ở thành phố, nhiều người hay nói, thành phố trẻ chỉ hơn 300 tuổi nhưng thực ra có rất nhiều di sản cho chúng ta phát huy. Chỉ là một không gian nhỏ bên sông Sài Gòn, nhưng nhiều nhóm khách của tôi khi đến đây, cho biết họ rất thích, vì dấu ấn đô thị sông nước một thời quá hay”.
Tháng 5-2016, cột cờ Thủ Ngữ được UBND TPHCM xếp hạng Di tích lịch sử cấp thành phố. Hơn 150 năm qua, cột cờ đứng đó chứng kiến những đổi thay, vươn mình của thành phố… Di sản còn đây, như một minh chứng cụ thể, để người hôm nay và mai sau nhìn lại, thêm yêu và tự hào vùng đất mình đang sống.
Trong đời sống, nhiều câu ca dao nhắc về cột cờ Thủ Ngữ như: Đất Sài Gòn, nam thanh nữ tú/ Cột cờ Thủ Ngữ cao rất là cao… Theo nghiên cứu của nhà văn hóa Nguyễn Đình Tư, cột cờ Thủ Ngữ là nơi từng chứng kiến nhiều sự kiện lịch sử. Ngay tại vàm Bến Nghé ngày 15-2-1859, chiến thuyền Pháp đã nổ những phát súng đầu tiên tấn công thành Gia Định. Nhân dân Bến Nghé đã dũng cảm đứng lên chống giặc xâm lược, đóng cọc trên sông, kết thuyền lại dùng chiến thuật hỏa công chặn quân giặc.