我已离婚,女孩四岁归男方抚养,现在我…

我已离婚,女孩四岁归男方抚养,现在我已经有房子,我能要回孩子的抚养权吗我已经离婚两个月,女孩四岁归男方抚养,但他们照顾孩子不周,我现已经有房,我能要回孩子的抚养权吗