我（男）今天把男友的弟弟打了，冷静后觉得自己打人不对，又拉不下面子道歉，特别是对方一副不待见我的态度让我更手痒的想把拳头往他脸上招呼，我矮我瘦，他觉得他哥找我这么个瘦小的同性恋人不如找个女人结婚生子，他和他哥都是一米八以上身高，他说我和我男友在一起就像爸爸带儿子，还让我叫他叔叔。把我惹火了，把他打了一顿，他不敢还手，他碰都不敢碰到我，他一个直男，我一个同性恋，他手抓到我手立刻就松开，好像我是病，毒一样，正好我打他没阻碍，我男友回来后他说我不欢迎他来要赶他出去他说了几句我就打他……等等。虽然男友没有说我什么，但我明白他心里对我打他弟弟的事不高兴，我是去道歉还是不去?拉不下脸，还想打他怎么办?