Hallo,
Ich geh mal davon aus, dass Du Windows benutzt. Ich vermute, dass das an der Latenz hängt. Du kannst ja mal ausprobieren, die Samplerate etwas zu reduzieren, wenn die Verzögerung weniger wird hängt's daran. Ach ja Dein Audiosignal dürfte ebenfalls verzögert sein, wenn Du ein Signal an den Eingang der Soundkarte legst.
Hast Du eine Soundkarte mit ASIO Treiber? Falls Du keine Soundkarte hast, die ASIO unterstützt, dann probier mal den ASIO for ALL Treiber.