Ich denke, es ist beides problematisch. Die Damentoilette ist für mich aber eindeutig falsch, wenn es hier tatsächlich nur um Crossdressing geht. Ein Mann hat in einer reinen Damentoilette nichts verloren!
Auf der Herrentoilette wird ein Mann in Rock und hohen Schuhen aber gleichfalls die Verwunderung - vielleicht sogar den Unmut - seiner Geschlechtsgenossen auf sich ziehen. Dort wird er dann auf jeden Fall als Mann erkannt und ich kann mir nicht vorstellen, dass das jemand möchte.
Also wenn möglich verkneifen, denn die vielgerühmten Unisex-Toiletten sind, zumindest im öffentlichen Raum, noch äußerst selten.