実父の孫(私の息子)に対する発言について、実父が無神経なのか、私が気にしすぎなのか、どう思いますか？携帯からなので改行がおかしかったらすみません。

3月末に出産し、実家に里帰りしています。

実父が、お見舞いに来た人達に、
「ハンディキャップを持って生まれて来た(早生まれなだけで障碍等はありません)」
「しかも小さい(予定日より半月ほど早く生まれたので、出生体重が2500gギリギリだった)」
「あと1週間遅く生まれてくれば良かったのに(1週遅ければ4月生まれだった)」
など、毎回言います。

実父とは私の学生時代から折り合いが悪く、現在もあまり積極的に会話はしません。
お見舞いに来てくれる人は、親戚や近所の人で、大体父の知り合いでもあるので一緒にもてなすのですが
本当に毎回毎回毎回、早生まれはかわいそう、という意味のことを言います。

言われるたびにイラッとして、今朝ついに実父と口論になりました。

すると実母に、実父は昔から無神経な人だし、今までスルーできていたのに産後でホルモンバランスが崩れているんじゃないか、大丈夫か？と私のメンタルを心配されてしまいました。

私が産後で気にしすぎなだけなのか？
私には父親が無神経だと感じられるのですが、みなさんはどう感じますか？