Hm, Günter,
im Prinzip ist Deine Platine schon sehr condensed. Viel rausholen durch Layoutoptimierung kannst Du da bei vertretbarem Aufwand eh nicht mehr. Eine layoutete Spule in Form einer Büroklammer kann ich auch nicht finden

Vergleiche das doch mal mit dem Layout des Wheelie I.
Von daher würde ich mich wundern, wenn Spikes das Problem wären, die ja eher bei schwacher Last (mehr induktive Wirkung des Motors) auftreten. Das Rauchopfer trat ja bei Bergbesteigung = extreme Last augf und von daher schließe ich, dass das kein Zufall war. Von deher sollte es was mit hohen Strömen oder deren Folge zu tun haben. Leitungsinduktivitäten auf der Platte als Ursache, das würde mich bei der Leiterbahnführung sehr wundern. Aber das mkann man messen…
Der einzige Punkt, auf den auch Hacko hingewiesen hat und der eigentlich eh klar ist, das wären die Leiterbahnquerschnitte für die MOSFETs. Dass die Sicherung spielen, das dürfte logisch sein. Vermutlich ist es auch keine 70µm Kupferauflage. Ohne Verstärkung kommt man da nicht rum
Von daher sind Deine Überlegungen, so relevant sie für bestimmte Aspekte sein mögen, doch spekulativ.
Ohne Experimente und Messungen wirst Du den Grund nicht finden können und im schlimmsten Fall noch mehr Rauchwölkchen produzieren.
Die richtige Antwort kenne ich leider auch nicht.
Was mir an der Schaltung noch auffiel ist, dass der Schaltregler LM2574HV-adj. eine unpassende Induktivität erhalten hat. Sie ist zu klein (siehe Grafik). bei 36V in und 12V out ist das Produkt E*T bei 153. Jetzt bräuchtest Du noch in etwa den fließenden Strom. Ich schätze ihn im Bereich von 100mA. Den würde ich aber einfach mal messen (mit 100–Ω-Last etc. statt Motor und 50% PWM). 330µH ist zu klein.
Weiter: Da Du L1 und L4 eingefügt hast (welchen ohmschen Widerstand haben die denn?) sind nach den Designangaben von IRF C1 und C2 zu klein oder aber die Anoden von D5 und D6 falsch angeschlossen. Sie sollten den Strom nicht vom VCC-Anschluss der ICs ziehen. Besser sie kommen irgendwo direkt an +12V (mit Puffer-Vielschicht-C entkoppelt).
Soviel auf die Schnelle.