So einfach kann er dich nicht rauswerfen. Klar ist das derjenige im Haus bleibt bei dem die Kinder aufwachsen.
Du hast dieselben Rechte wie er und kannst ihm ja auch die Kündigung für das Wohnverhältnis ausschreiben mit einer Frist von 3 Monaten. Wenn du das Sorgerecht für die Kinder haben möchtest, dann ziehe ja nicht ohne Kinder aus dem Haus aus!
Lass dich bei einer Fachperson beraten.