Enjoy Services
← Tutti gli articoli

Checkout sotto controllo: il rate limiting di Taocarts con token bucket e Redis

  • #api
  • #redis
  • #rate-limiting
  • #checkout

Durante il Black Friday, l’API di checkout di Taocarts ha dovuto gestire un aumento di richieste provenienti sia dagli acquirenti sia da script di tentativi ripetuti. Anche un client della piattaforma contribuiva al problema, reinviando le richieste dopo un timeout: ogni nuovo invio avviava altri controlli sulle scorte e chiamate per creare intenti di pagamento.

Perché abbandonare la finestra fissa

Il primo sistema adottato contava le richieste per utente e azzerava il contatore ogni minuto. La soluzione, pur semplice, presentava due limiti. Un client poteva concentrare le chiamate alla fine di una finestra e all’inizio della successiva, arrivando a inviare il doppio del limite in pochi secondi.

Inoltre, un tetto rigido penalizzava anche attività legittime e concentrate nel tempo, come gli aggiornamenti ripetuti della pagina da parte di chi confronta le opzioni di spedizione. L’obiettivo era quindi consentire brevi picchi, mantenendo sotto controllo il traffico sostenuto.

Un contenitore di token per ogni chiave

Taocarts ha scelto un modello token bucket, associando un contenitore alla combinazione tra identificativo del tenant ed endpoint. Ogni richiesta consuma un token; i token si ricostituiscono nel tempo fino a una capacità massima.

I due parametri hanno ruoli distinti: la capacità determina quante richieste possono arrivare in un breve intervallo, mentre la velocità di ricarica regola la frequenza sostenibile nel lungo periodo. Quando le richieste consumano token più velocemente di quanto vengano rimpiazzati, quelle successive vengono respinte. Terminato il picco, il contenitore si riempie di nuovo senza un ripristino manuale.

Redis, ricarica differita e operazioni atomiche

Lo stato dei contenitori risiede in Redis. La ricarica non richiede un processo periodico: all’arrivo di una richiesta, il sistema calcola i token maturati dal precedente accesso in base al tempo trascorso. Le chiavi inattive vengono lasciate scadere tramite TTL.

Una prima versione presentava però una condizione di concorrenza: due richieste simultanee potevano leggere lo stesso saldo e ottenere entrambe il permesso. Per evitarlo, Taocarts ha spostato lettura, calcolo, decremento e scrittura in uno script Lua eseguito atomicamente in Redis. La piattaforma sottolinea anche l’importanza di verificare questo comportamento sotto carico.

Parametri e risultati osservati

La configurazione scelta prevede una capacità di 20 token e una ricarica di 0,5 token al secondo: circa 30 richieste al minuto sostenute, con spazio per un picco di 20. Prima del limite, un client problematico poteva inviare diverse centinaia di chiamate al minuto, peggiorando la latenza per tutti.

Dopo l’intervento, la latenza p99 del checkout è rimasta stabile durante la vendita e gli intenti di pagamento duplicati sono diminuiti nettamente. Le risposte di rifiuto includono inoltre Retry-After, calcolato in base al tempo necessario per ottenere il token successivo, così da consentire ai client di attendere prima di riprovare.

Fonte:dev.to

Articolo scritto con l'aiuto dell'AI a partire dalla fonte indicata.