Se desideri lavorare su un'unica pagina, alternando più layout, puoi far uso di RemoveAllViews prima di caricare il nuovo layout (che ovviamente avrà i tasti per caricare le restanti alternative). Se ti occorre preservare dei dati tra un layout e l'atro, ti tocca salvarli e ripristinarli quando richiami quel layout.
Con il panel è più o meno lo stesso a meno di non avere più panel (ognuno per uno specifico layout) e, come detto sopra, procedere di mostra/nascondi in funzione delle scelte dell'utente.
La scelta vincente è comunque quella di orientarsi sulle B4xPages (tanto alla fine utilizzerai solo quelle). In tal caso ogni schermata/layout sarà una B4xPage che ha tutti i vantaggi di essere una classe a sé.