花了380万买的房子竟有高额抵押，快80岁的我们该怎么办？

根据您提供的情况，房屋存在大额抵押未告知可能构成欺诈，您有权主张撤销合同并退款。紧急行动建议如下：
本案涉及抵押未明示的重大隐瞒。中介和卖方若未显著提示抵押事实，您的签约行为可能因重大误解或欺诈而可撤销。建议立即收集合同、付款凭证、沟通记录等证据，并向宝山区法院起诉，主张合同无效或撤销，避免承担20%违约金。
同时，抵押金额高达328万，接近成交价86%，严重威胁您的产权安全。即便合同有效，您也可要求卖方解除抵押后再过户，否则可拒绝履行并索赔。
鉴于您年事已高，可请求法院酌情减轻违约责任。务必本周内咨询法律援助或聘请律师介入，拖延可能增加损失。