Non andrebbe bene nemmeno come scritto sopra, per due motivi:
1) se aggiungi un touch listener su un pannello interno di una ScrollView, questo non viene intercettato se tocchi una view contenuta nel pannello, ovviamente; sarebbe necessario sovrapporre un pannello trasparente su quello interno, delle stesse dimensioni ed anche questo sarebbe un problema...
2) dovresti intercettare anche il momento del rilascio (quando stacchi il dito, "abbandoni" lo scrolling manuale)
Insomma, molto complicato.