כשהוחרבה אשקלון הקדומה על ידי ביברס בשנת 1270, עבר המרכז העירוני מזרחה והוקם ישוב חדש באתר של מג’דל. עדות לכך הוא המסגד הגדול בכיכר העצמאות שנבנה בשנת 1300 על ידי הסולטאן הממלוכי נאצר מוחמד. לפי תעודה עותמאנית משנת 1516 היו רבע מאדמות מג’דל הקדש למסגד כיפת הסלע ולמסגד מערת המכפלה. מאמצע המאה ה –19 ואילך ובעיקר בתקופת המנדט הבריטי, הייתה מג’דל מרכז מנהלי אזורי, ואתרים רבים בשכונה מעידים על פריחתה. רחוב הרצל, רחובה הראשי של מגדל, חוצה אותה לכל אורכה משדרות בן גוריון בדרום ועד כיכר העצמאות היא “ככר החאן” בצפון. לאורכו מרוכזים כמה מן האתרים ההיסטוריים החשובים ביותר מתקופת המנדט ומימיה הראשונים של העיר העברית.
בית הספר לאמנויות שוכן במבני בית הספר לבנים אשר הוקם על ידי הממשל הבריטי עבור עשירי העיר והסביבה, והם מופיעים לראשונה במפת המרחב של מג’דל משנת 1932. בשנים 1938 ו–1946 נוספו בניינים חדשים והוא הפך לבית ספר ממשלתי לבנים ולא עוד תיכון אקסקלוסיבי. לאחר כניסת צה”ל לעיירה, חזר המבנה לשמש כבית ספר יסודי לילדי מג’דל על שמו של ברל כצנלסון. עם התרוקנות השכונה מתושביה שעקרו לשכונות החדשות, ננטש בית הספר ובשנות ה–70 פתחה האמנית אילנה שפיר במקום מרכז לאמנות. משנות ה–80 פועל במקום בית הספר לאמנויות, כבית ספר יסודי-ממלכתי עם דגש על מצוינות ומרכז לאמנויות.
במדרחוב במורד רחוב הרצל ניצב בניין העירייה הראשון בעיר העברית. האזור בו נבנו בית הספר לבנים ובניין העירייה היה עד סוף שנות ה-20 אזור חקלאי. במהלך שנות ה–30 החל האזור להתפתח מבחינה אורבנית ונבנו בתי מגורים ומשרדים. עם כניסת צה”ל למג’דל הושלט ממשל צבאי ובבניין שוכנו משרדיו שפעלו עד ביטולו בתחילת 1951 לאחר פינוי ערביי העיירה. כשאשקלון הייתה לרשות מקומית שוכנו בבניין משרדיה עד שנות ה–60. במהלך שנות ה-80 עבר הבניין שיפוץ תוך שמירה על חזיתו ותכנונו המקוריים ומשמש כיום בניין משרדים.
לא רחוק מן העירייה ניצב בניין דו-קומתי שנבנה באמצע שנות ה–30, אשר שימש למגורים ולמשרדים. לאחר קום המדינה ועד שנות ה–70 שימש המבנה את קופת חולים הכללית ואחר כך כמעבדה של קופת החולים. מאוחר יותר נרכש על ידי קופת חולים לאומית אשר שיכנה בו את משרדיה ובו פעלה מרפאת השיניים של הקופה. הבניין שופץ תוך שמירה על חזיתו המקורית בקומה השנייה.
רחוב הרצל ושכונת מגדל כולה מוזנחים כיום, זוהרה של השכונה אבד בשל בניה פראית, הזנחה, התפוררות מבנים והעדר תכנון אב לפיתוחה. רק לאחרונה הולכת ומתגבשת ביוזמתה של העירייה תכנית אב לשיקומה של השכונה, במסגרת מיתוג אשקלון כעיר תיירות.