şarkının hikayesi 4 aralık 1971'de isviçre'deki montreux casino'da çıkan yangına dayanır. leman gölü'nün kıyısında bulunan montreux casino, birçok ünlü senfoni orkestrasının performans alanı olarak kullanıldıktan sonra 1967'de montreux jazz festivali'ne ev sahipliği yapmaya başlamıştı. 1970'lerde blues, soul ve rock ekiplerinin de sahne almaya başladığı festival led zeppelin, pink floyd ve deep purple gibi önemli grupların performanslarına da sahne oldu.

rukawa kaede yukarıda bahsetmiş ama biraz ayrıntılandıralım. 4 aralık 1971'de gerçekleşen frank zappa konseri sırasında (deep purple üyeleri de machine head albümünü kaydetmek üzere buradadır) bir seyircinin işaret fişeği tabancasını tavana doğru ateşlemesi sonucu yangın çıkar (olayı ve yangın anonsunu frank zappa'nın swiss cheese/fire! isimli albümünde duyabilirsiniz).

seyirciler arasında bulunan ian gillian, kendisinin arkasında oturan birinin işaret fişeği tabancası ile iki el ateş ettiğini ve tavanın köşesine doğru giden fişeklerin bir anda alevleri doğurduğunu anlatır. zappa konseri durdurur ve insanların güvenli bir şekilde dışarı çıkarılmasına yardımcı olur. ekip, yakındaki bir lokantadan yangını izlemeye devam eder. alevler dindirildiğinde leman gölü'nün üzeri bir duman tabakası ile kaplanmıştır. bu görüntü grubun bassçısı roger glover'a "smoke on the water" fikrini verir (glover daha sonraları bu ismin kullanılması konusunda isteksiz olacaktır çünkü smoke on the water'ın kulağa uyuşturucuyla ilgili bir şarkı ismi gibi geldiğini düşünecektir) ve gillan da sözleri yazar.

grup, montreux'deki grand hotel'e yerleşir ve burada led zeppelin'in stairway to heavenkayıtlarında da kullandığı rolling stones'un meşhur mobil stüdyosunu kullanarak albümü kaydeder. ancak bir şarkıya daha ihtiyaçları vardır. gillan'ın sözleri ve ritchie blackmore'un gitar motifini bir araya getirerek smoke on the water'a hayat verirler. bunun sonucunda, gerçekleşen bu büyük olayı meydana gelişinden henüz birkaç gün sonra anlatan efsanevi bir şarkı ortaya çıkar.

parçanın sözlerinde de ismi geçen frank zappa, bütün ekipmanını yangında kaybeder. ardından birkaç gün sonra ingiltere'deki bir konserde kendisini aşağıya çeken bir seyirci yüzünden bacağını kırar. ian gillan'ın 1972'de bbc özel programında smoke on the water'ı seslendirdikten sonra mikrofona eğilip "break a leg, frank" demesinin sebebi de budur.

"funky claude was running in and out pulling kids out the ground," sözlerinde bahsedilen funky claude, claude nobs'tur. montreux jazz festivali'nin ortak kurucusu olan nobs, yangın sırasında birçok insanı kurtarmış ve gruba kalacak yeni bir otel bulmuştu.

nobs, gibson.com röportajında olayı şöyle anlatır:

"deep purple bütün yangını pencereden izledi ve "aman tanrım, şuna bakar mısın. zavallı claude; casino da yok oldu!" dediler. burada bir konser vermeleri planlanmıştı ve yeni albümü de burada kayıt edeceklerdi. sonunda onlar için, evimin yanındaki metruk bir otelde yer ayarladım ve geçici bir stüdyo hazırladım. bir gün akşam yemeğine bana geldiler ve şöyle dediler: "claude, senin için bir sürprizimiz var, ama albümde olmayacak. smoke on the water ismini verdiğimiz bir şarkı." şarkıyı dinledim ve şöyle söyledim: "çıldırmışsınız! bu büyük bir şey olacak!" şimdi, dünya üzerinde -şarkının melodisini mırıldanır- bilmeyen tek bir gitarist yok. dediler ki "eğer gerçekten inanıyorsan, albüme de koyarız." bu, gerçekten de casino'dan çıkan yangının kusursuz bir anlatımı, frank zappa'nın çocukları binadan çıkarması ve şarkıdaki her detay doğru. orada tüm olanlar bunlardı. şarkının ortasında 'funky claude was getting people out of the building,' der ve şimdi ne zaman bir rock müzisyeni ile karşılaşsam hala "ah, işte funky claude geliyor" derler."

parçada geçen "swiss time was running out" sözlerinde anlatılan, ekibin vizesinin bitmeye yaklaşmasıdır. bu yüzden parçaları birkaç haftada kaydederler.

vh1'ın classic albums röportajına göre albüm kaydedilirken grubun parası kalmaz. kiraladıkları stüdyodaki süreleri biter ancak bu şarkıyı kaydetmek için birkaç gün daha kalmak zorundadırlar. kayıt sırasında polis kapıya dayanır grubu dışarı atmaya çalışır.

london times'ın haberine göre, ritchie blackmore parçayı ilk kez arkadaşlarına dinletirken çok utanır çünkü onun kalibresindeki bir gitarist için "neanderthal" sayılacak bir melodidir.

grup bu şarkının büyük çıkış yapacağını tahmin etmez ve nadiren canlı olarak sergiler. ancak albümden bir yıl sonra amerika'da single olarak yayımlandığında bu çıkış yakalanır.