男性が女性ホルモンを受けることによる不妊症について

20代/男性 - 2014/04/08

はじめまして。長文で申し訳ありません。
私は30手前の男性、既婚です。妻とはよく相談していますが、小さい頃からあった身体の性別への違和感が最近日増しに大きくなり、ホルモン治療をしたいと思う一方、子供は欲しいという気持ちも強く、これまで個人輸入の女性ホルモンの薬を飲んだり止めたりを繰り返してきています。
元男性の場合、薬の量と体質にもよると思いますが、半年ほど女性ホルモンの薬を続けると永久不妊になるとよく聞きます。教えていただきたいのですが、この場合の永久不妊は、何故薬を止めて男性ホルモンが復活しても治らないのでしょうか。どのように身体に変化が起こると永久不妊になるのか、またそれは見たり触ったりである程度判別することができる変化なのでしょうか。
込み入った質問で申し訳ありませんが、ご教示よろしくお願いします。