Se ti serve una lista dalla quale pescare un numero alla volta, sarebbe meglio usare un metodo diverso, che eventualmente ti spiegherò o allegherò un esempio, che si fa pure prima.
Per rimuovere un solo elemento in base al suo valore:
Dim Valore As Int = 44
List1.RemoveAt(List1.IndexOf(Valore))
Per rimuoverli tutti (tutti quelli che contengono Valore), dovrai usare un Loop ("Do While" o "Do Until"), fino a che Index Of ti restituisca -1 (non trovato).