Um dich auf einem Fahrrad fortzubewegen benötigst Du zunächst 3 Fixpunkte.
Pedal links
Pedal rechts
Sattel
Dazu kommt der Lenker mit ein bis zwei weiteren Haltepunkten.

Eine Balance dazwischen zu finden kann vielfältig und mühselig sein:
Wie Du schon schreibst, gibt es noch ne Menge weitere Ein­fluss­mög­lich­keiten. Von der Behaarung der Waden bis hin zum Blutalkoholgehalt sind diese nicht zu unterschätzen.

Kann ein Fahrrad überhaupt schnell sein?

Ich behaupte nein.

Kann ein einzelner Radfahrer schnell sein?

Jein. Es gewinnt immer ein Team die TdF. Der Einzelne Fahrer ist austauschbar wie ein Laufrad.