怎么办？对方会受到惩罚吗？

根据您提供的情况，若拒绝调解，可以直接向法院提起刑事自诉或请求法院进行刑事追诉。您的案件涉及人身损害，可以首先向公安机关报案，由公安机关开展调查。如果事实清楚，证据充分，公安机关应将对方移送检察院审查起诉。检察院审查确认后，对方可能会因故意伤害罪被提起公诉，面临相应的刑事责任。此外，您自己在冲突中的行为也需符合正当防卫的相关规定，否则可能会承担一定的法律责任。

在对方被起诉后，根据《中华人民共和国刑法》的相关规定，故意伤害罪可以被判处三年以下有期徒刑、拘役或者管制，并可能包括罚金。事态严重时，刑罚也将相应提高。同时，您也有权通过民事途径要求对方赔偿因伤害导致的医疗费用、误工损失等经济损失。在这种情况下，了解和采取正确的法律行动尤为重要，可保护您的合法权益免受侵害。

针对您的诉求，建议积极配合警方调查，并且准备好相关的医疗证据和其他有利证据，以确保能够在法庭上有效主张您的权益。同时，保持与法律人员的紧密沟通，确保您的权益得到有效执行。