Der Ursprung von Fudge ist unklar, aber die Geschichte von Fudge kann bis mindestens 1886 CE zurückverfolgt werden. Der genaue Ursprung und der Erfinder von Fudge bleiben umstritten, aber einige Experten glauben, dass das Wort „Fudge“ zuerst auf eine verpfuschte Charge Karamells angewendet wurde, was den Ausruf „Oh Fudge!“ auslöste. Die meisten Lebensmittelhistoriker glauben, dass Fudge, wie es heute existiert, eine amerikanische Erfindung ist.
Fudge ist eine kristalline Süßware. Im Gegensatz zu vielen anderen Bonbons, wie Toffee und Karamell, die auf Kristallisation verzichten, ist die Kristallbildung für die Herstellung von Fudge notwendig. Durch diesen Prozess entsteht ein Bonbon, das fest und doch glatt ist, da die Kristalle so klein sind, dass sie weder schmecken noch sich körnig anfühlen. Die Fudge-Mischung, die Zucker, Butter und Milch enthalten muss, muss richtig zubereitet und gekühlt werden, um Zuckerkristalle in der richtigen Größe zu erhalten. Wird der Vorgang nicht richtig durchgeführt, bilden sich die Kristalle entweder zu früh und werden zu groß oder bilden sich gar nicht, sodass ein karamellähnliches Bonbon entsteht.
Die Geschichte von Fudge könnte vor der Gründung der USA zurückreichen, und Experten weisen schnell auf die Ähnlichkeiten zwischen Fudge und Tablette hin, einem schottischen Konfekt. Tablet wird erstmals im Household Book of Lady Grisell Baillie erwähnt, das zwischen 1692 und 1733 n. Chr. verfasst wurde. Der Prozess der Herstellung von Tabletten beginnt auf die gleiche Weise wie bei Fudge – indem Zucker, Milch und Butter gekocht werden, bis sie bei 235 bis 240 °C die Weichkugelphase erreichen erhitzen und abkühlen lassen. Die Kristallisation tritt in Tabletten auf, aber es bilden sich große Kristalle, die der Süßigkeit eine körnige und spröde Textur verleihen, die sich von der weichen, glatten Textur von Fudge ziemlich unterscheidet.
Emelyn Battersby Hartridge dokumentiert den ersten Verkauf von Fudge und schrieb 1886 einen Brief, in dem sie erklärte, dass der Cousin eines Schulkameraden Fudge für 40 Cent pro Pfund in Baltimore verkauft hatte. Im Jahr 1888 schrieb Frau Hartridge, die immer noch das Vassar College in Poughkeepsie, New York, besuchte, dass sie bis zu 30 Pfund Fudge für die Senior-Auktion verdiente. Fudge hat sich bei Vassar schnell durchgesetzt, und schon bald tauchten Rezepte für das Konfekt an anderen Frauenhochschulen auf. Smith und Wellesley Colleges adaptierten das sogenannte Originalrezept in ihre eigenen Versionen.
Vassars Rezept verlangte nach weißem Zucker, Sahne, ungesüßter Schokolade und Butter. Die Kreation des Wellesley College veränderte das Originalrezept nur geringfügig, indem sie Marshmallows hinzufügte, die verhindert, dass der Fudge während des Abkühlens zusammenfällt. Das Rezept des Smith College war das erste, das vom Original abwich und zusätzliche Butter zusammen mit braunem und weißem Zucker, Melasse und Vanille hinzufügte. Jedes dieser Rezepte ist notorisch delikat. Die Geschichte von Fudge wurde für immer verändert, als Maissirup, der die Kristallbildung verzögert, erstmals für kinderleichte Rezepte verwendet wurde.