スーツもしくはクールビズスタイルが無難でしょう。
見学会等でカジュアルでも良い場合には、動きやすくカジュアル過ぎないよう襟付きのシャツ等が無難だと思います。
このように言われるケースはアパレル業界などに多くあります。目的は、普段着のセンスを確認することなどが多いでしょう。普段着といっても、Ｔシャツやジーンズではカジュアルすぎます。例えば、男性の場合はシャツの上にジャケットを羽織る、女性は露出が少ない落ち着いた服装を選択するなど、企業の方とお会いする上で失礼のない服装を心掛けましょう。また、アパレル業界でなくても「服装は自由です」と言われる場合もありますが、この場合はスーツで臨むのが無難です。