C'est tout a fait normal, le fait de "débrayer" (tu embraye quand tu relache le levier :-)) n'influe que sur ta transmission de l'arbre primaire de boite mais le secondaire, tourne a fond avec ton pignon et ta roue.
Donc même si l'arbre primaire ne tourne pas, ou pas vite, au rétrogradage le choc est assez violent, il vaut mieu évité ce genre de choc et passer tes rapports un par un surtout au rétrogradage!!!
Bon courage.