できません。
インフィニットLBと負荷分散対象間との通信制御（ファイアウォール設定）は対応しておりません。