内定辞退は、そもそも本人と会社の間での話であり、お互い相思相愛になれなかった結果ですので、それが学校の後輩に影響することはありません。ただ企業にとって内定辞退は、人員計画変更を余儀なくされるため、よく検討された上で決断していただきたいのが本音のところです。
あなたの大学に対するイメージが悪くなる可能性がないとは言えません。それは、あなたの対応次第で変わってくると思ってください。丁寧なのは、担当者に「会ってお話ししたいことがあるのですが」と伝え、もし「電話で伺います」と言われたら、そのまま理由を正直に話しましょう。その後でお詫び状を出せば問題ありません。内定承諾書提出後の辞退など、マナー違反は絶対にしないようにしましょう。