Die Ursprünge des High Tea waren eigentlich ganz praktisch. Laut verschiedenen historischen Aufzeichnungen begann High Tea im frühen 19. Jahrhundert. Angeblich mochte ein Mitglied des Hofes von Königin Victoria, Anna Stanhope, Herzogin von Bedford, die lange Zeitspanne zwischen Mittag- und Abendessen, die oft um sieben oder acht Uhr abends eingenommen wurde, nicht. Sie fing an, zwischen drei und fünf Uhr eine kleine Mahlzeit zu sich zu nehmen, um den Hunger zu stillen und Stimmungsschwankungen vorzubeugen.
Anna Stanhope betrachtete den High Tea ursprünglich als geheimes Ritual, bei dem Diener angewiesen wurden, ihr eine kleine Mahlzeit mit heißem Tee, Käse, Obst und Sandwiches zu bringen. Als Stanhope bemerkte, dass auch andere Mitglieder des Hofes der Königin an Nachmittagshunger litten, ließ sie sie in ihr Geheimnis ein. Bald nahmen die meisten Mitglieder des Hofes von Königin Victoria an dieser leichten Mahlzeit teil.
Als Stanhope den Hof der Königin verließ, um nach London zurückzukehren, hatte sie sich an ihr Nachmittagsessen gewöhnt und wollte es mit anderen teilen. Sie lud täglich andere Frauen ein, mit ihr zu essen, und die Idee des High Tea kam auf. Von den hohen Rängen des Adels in die unteren Kasten der Gesellschaft übergreifend, wurde ein leichtes Fünf-Uhr-Essen zu etwas, auf das sich alle freuen konnten, die es sich leisten konnten.
Im Allgemeinen waren die ersten High Teas tatsächlich sehr kleine Mahlzeiten. Leichte, knusprige Kekse, schwammige Kuchen, Toast, Gelees und Obst gehörten zu den Speisen der Wahl. Die Mahlzeit enthielt selten Fleisch oder Alkohol und konzentrierte sich hauptsächlich auf Dinge, die den Hunger abwehren würden, ohne zu sättigend zu sein. Als High Tea an Popularität gewann, wurde die damit verbundene leichte Kost zu einem Modestatement. Diejenigen mit Status stellten es zur Schau, indem sie eine Vielzahl von exotischen Tees und Gourmet-Fingerfood servierten.
Arbeiter aus den unteren Schichten der Gesellschaft konnten sich eine solche Extravaganz nicht leisten, insbesondere nach dem Aufkommen der industriellen Revolution. Fabrikarbeiter hatten wenig Verwendung für zarte Fingersandwiches und zuckerhaltige Leckereien. Dies begann eine Tradition, High Tea zu einer kompletten Mahlzeit zu erweitern. Aufschnitt, leichte Suppen und Wein fanden ihren Weg in den High Tea, zusammen mit dichten Broten und fleischgefüllten Pasteten. In den unteren Klassen waren diese Mahlzeiten sättigend, aber einfach. Wohlhabendere Personen nutzten diesen neuen Trend, um noch exotischere und aufwendigere Spreads zu kreieren.
Heutige High Teas sind oft so groß und sättigend wie eine komplette Mahlzeit und ersetzen gelegentlich das Abendessen. Der Afternoon Tea, der in der Regel gegen zwei Uhr nachmittags serviert wird, hat den High Tea als leichte, energetisierende Mahlzeit abgelöst. Beide Teesorten sind in weiten Teilen des Vereinigten Königreichs und in Teilen Europas noch immer ein soziales Thema. In erster Linie nehmen Frauen teil, obwohl auch einige Männer an formellen Tees teilnehmen können.