সম্রাট আওরঙ্গজেবের ৩য় পুত্র , মুঘল রাজপুত্র আজম শাহ বাংলার সুবাদার থাকাকালীন ১৬৭৮ সালে এটার নির্মাণকাজ শুরু করেন । তিনি বাংলায় ১৫ মাস ছিলেন। এসময় একটি মসজিদ ও দরবার হল নির্মাণের নির্মাণ করেন তিনি। নবাব শায়েস্তা খাঁ ১৬৮০ সালে পুনরায় বাংলার সুবাদার হিসেবে ঢাকায় এসে দুর্গের নির্মাণকাজ পুনরায় শুরু করেন।
