内定辞退は、そもそも本人と会社の間での話であり、お互い相思相愛になれなかった結果ですので、それが学校の後輩に影響することはありません。ただ企業にとって内定辞退は、人員計画変更を余儀なくされるため、よく検討された上で決断していただきたいのが本音のところです。
内定を辞退するかどうかは個人の問題ですので、内定を辞退されたからといって、同じ大学の後輩の方に影響することはありません。ただし、辞退の仕方が連絡を一切されずにフェードアウトされるなど失礼なものであったりすれば、個人の問題とわかっていても大学に対する印象が悪くなってしまう可能性はあります。きちんと辞退することと、できれば理由を連絡していただければ、悪い印象を持たれることもないと思います。
あなたの大学に対するイメージが悪くなる可能性がないとは言えません。それは、あなたの対応次第で変わってくると思ってください。丁寧なのは、担当者に「会ってお話ししたいことがあるのですが」と伝え、もし「電話で伺います」と言われたら、そのまま理由を正直に話しましょう。その後でお詫び状を出せば問題ありません。内定承諾書提出後の辞退など、マナー違反は絶対にしないようにしましょう。