Ngày 7-1-1902, toàn quyền Paul Doumer ký sắc lệnh thành lập Trường Đại Học Y Hà Nội và hai năm sau, bệnh viện thực hành của trường được xây dựng với tên gọi là Nhà thương bản xứ  (1904) rồi theo quá trình thời gian, bệnh viện mang các tên gọi khác nhau qua từng giai đoạn phát triển của đất nước:  Nhà thương bảo hộ (1906), Bệnh viện Yersin (1943), Bệnh viện Phủ Doãn (1954), Bệnh viện Hữu nghị Việt Nam - CHDC Đức  (1958-1991) và Bệnh viện HN Việt Đức


Cách đây gần một thế kỷ dưới ách đô hộ của  thực dân Pháp , nhân dân ta sống trong cảnh nghèo nàn, lạc hậu, bệnh tật phát triển. Các bệnh truyền nhiễm đặc biệt là bệnh tả phát triển nhanh. Nhà chức trách Pháp đã có chỉ thị ngày 8/12/1910 cho xây dựng một cơ sở điều trị dành cho những bệnh nhân bị bệnh lây ở Cống Vọng thuộc tỉnh Hà Đông lúc bấy giờ ( nay là Hà Nội). Khu này đuợc khởi công xây dựng năm 1911 và đuợc gọi là Bệnh viện Lây Cống Vọng ( Hôpital des contagieux à Cống Vọng).

Năm 1929 được mở rộng thành một bệnh viện đa khoa mang tên Bệnh viện Robin, vừa khám chữa bệnh cho người Việt Nam vừa là cơ sở thực hành của Trường Y Dược Khoa Đông Dương. Ngày 9-3-1945 sau đảo chính Nhật- Pháp, Bệnh viện chính thức mang tên là Bệnh viện Bạch Mai.

Trong thời kỳ tạm chiếm, Bệnh viện Bạch Mai đã đuợc tu sửa lại và tiếp nhận bệnh nhân với các điều kiện khám chữa bệnh thiếu thốn và lạc hậu. Khu điều trị bệnh nhân thần kinh cũng là nơi giam giữ tù chính trị. Người dân Hà Nội gọi là Nhà thương làm phúc.
 
Trước ngày giải phóng thủ đô, công chức và nhân viên bệnh viện đã đấu tranh không cho địch di chuyển máy móc, dụng cụ và thuốc men vào Nam , bảo vệ người và tài sản. Vì vậy, đến ngày tiếp quản thủ đô 10/10/1954 , Bệnh viện Bạch Mai hầu như vẫn còn nguyên vẹn, các hoạt động chuyên môn vẫn tiếp tục.