שחרור כספי משכנתא ללא אישור בכתב

שלום רב, לפני כחודשיים פרעתי משכנתא שלקחתי מספר חודשים לכן. בעת פירעון המשכנתא בסך 478,000 ש"ח, נאלצתי להוסיף עוד כ-35,000 ש"ח עבור עמלות פירעון מוקדם. מדובר היה במשכנתא ל"בניה עצמית" והבנק התחייב (בע"פ) לבקש את אישורי טרם שחרור כל תשלום לקבלן. בפועל, רק בשחרור הראשוני (של כ-150,000 ש"ח) ביקשו את אישורי, ואת שאר התשלומים שחררו לקבלן ללא אישור, (באישור הראשוני היה מודגש שזה עבור 150,000 ש"ח בלבד, מתוך 478,000 ש"ח), כתוצאה מכך, לא ניתנה האפשרות של תשלום מהון עצמי לקבלן וכך "התבזבזו" כספי המשכנתא, וכשפרעתי את המשכנתא, הם דרשו שאשלם (ואכן שילמתי בלית ברירה) עמלת פירעון על כל הסכום ששיחררו ללא אישורי, (לו היו מבקשים את אישורי, לא הייתי מאשר להם למשוך את הסכפים האלו, וכך הייתי חוסך את העמלה בעת הפירעון שביצעתי בעת מכירת הדירה), האם ניתן לבוא אליהם בטענה כלשהו? האם אוכל לתבוע בתביעה קטנה? אודה לדעתך המקצועית, תודה רבה!