Aprés avoir mis les dernières touches sur l'album Blizzard of Ozz, Randy rentra en Californie en May 1980, ou il joua une dernière fois avec les membres de Quiet Riot au Starwood Club, à Holliwood pour leur dernier show. De retour en Angleterre, le groupe fit leur premier concert officiel le 12 Septembre 1980: 400 fans remplirent la salle du Apollo Theatre, à Glasgow. Blizzard of Ozz monta rapidement dans les charts anglais à la septième place alors que le groupe tourna trois mois et fit 34 concerts.
En décembre 1980, Randy retourna en Californie. Une fois de plus, Randy voulait une guitare custom. Une semaine avant Noel, il rencontra Grover jackson de Charvels Guitars. Avec un premier croquis, Randy et Grover créerent la véritable première guitare Jackson jamais produite. Cette nouvelle guitare, de type Flying V, deviendra également symbole du nom de Randy Rhoads. La guitare terminée fut ensuite envoyée à Randy en Angleterre deux mois plus tard.
Pendant les mois de Février et Mars 1981, le groupe d'Ozzy entra en Studio afin d'enregistrer leur second album: Diary Of a Madman. Devant effectuer une tournée américaine aprés cet enregistrement,celui-ci fut précipité. Par exemple, le solo de Randy sur Little Doll était normalement un solo d'essais qui n'aurai jamais du être sur la version finale de la chanson. Aucun membres du groupe ne furent présent lors du mixage de cet album (Note de Guitar Web: j'ai d'ailleur souvent lu dans la presse que Ozzy n'était pas content de la production de cet album)
Avec l'album en boite mais non encore sortie, le groupe entama une nouvelle tournée américaine pour le support de Blizzard of Ozz à Towson,, dans le Maryland le 22 avril 1981, un an et un mois après l'avoir enregistré. Bien que non présents sur les albums, Tommy Aldrige (batterie) et Rudy Sarzo (basse) retrouveront leurs postes dès le début de cette tournée US, qui dura de Mai à Septembre 1981 et sur la quelle seront interprétés des morceaux de Blizzard of Ozz, Diary of a Madman et quelques reprises de Black Sabbath. Le choix de faire cette tournée en tête d'affiche au lieu de supporter un groupe plus important s'avera être un bon choix puisque Blizzard of Ozz fut disque d'Or en 100 jours. Cependant, dans de petites villes des Etats-Unis, certains concerts ont failli etre annulés, à cause de la faibles vente de billets. Dans la ville de Providence (Roads Island) le groupe (ainsi que celui qui ouvrait, Def Leppard) ne fut pas payé du fait de la faible vente de billets.
A la fin de cette tournée, Randy revint voir Grover Jackson afin de réaliser une nouvelle guitare sur mesure. Randy se plaignait que beaucoup de personnes confondaient sa Jackson avec une vrai Flying V. Il voulait donc avoir quelque chose qui se distingerait plus. Quelques semaines plus tard, Randy et Kevin Dubrow alla voir la guitare en cours de réalisation dans les ateliers de Grover Jakson. Pendant plus d'une heure, Randy et Grover dessinèrent sur la guitare avant de décider du design final. Cette prise de décision existe en deux versions:
A) Alors que Grover Jackson faisait la découpe du corps de la guitare suivant le design pré-établi, Randy attendait dans le bureau de Grover, ne voulant pas assister a la découpe.
B) Grover découpa le corps de la guitare en présence de Randy, qui s'écria: yeah, that's it !.
Randy reçu cette guitare, la deuxieme jackson jamais produite, juste avant le début de la tournée "Diary of Madman". En mème temps , 3 guitares fut construites pour Randy. Il reçu la première, la 'Black Custom' alors que Jakson continua de travailler sur les deux autres. . Malheureusement, une de ces deux guitares fue vendue accidentellement par Grover Jackson au Namm Show de Los Angeles. La troisième, non terminée à l'époque de l'accident, est maintenant la propriété de Rob Lane de Jacksoncharvelworld.com.
Comme avec Quiet Riot,Randy ne fera que deux albums et un maxi, avec Ozzy. Le maxi, Mr Crowley, comprenait 3 morceaux enregistrés en public dont 'You said it all', inédit à l'époque et enregistré en Octobre 1980 à South Hampton, en Angleterre, pendant la tournée 'Blizzard of Oz'. (en fait 'You said it all' fut réellement enregistré pendant la balance du concert et le son du public fut ajouté au mixage par la suite). A cette époque, la version Picture Disc du maxi Mr Crowley, fut la plus forte vente de Picture Disc jamais réalisée, ce qui fit l'objet d'un record, inscrit dans le Guiness Book.
Avec la sortie de l'album Diary of a Madman, Ozzy et Randy (accompagné de Rudy Sarzo et Tommy Aldridge) commencèrent une tournée Européenne en Novembre 1981. Celle ci ne dura que trois jours! En effet elle due être annulée aprés qu'Ozzy eu des problèmes mentaux et physiques.
Le groupe revint aux Etats Unis afin qu'Ozzy puisse prendre du repos et reprit la route un mois plus tard et commenca leur deuxième tournée américaine, qui dura 4 mois. Elle débuta le 30 décembre 1981, au Cow Palace, ` San Franciso. Lors de cette première, Randy reçu le prix de meilleur nouveau talent de Guitar Player (il reçu également le prix du meilleur nouveau guitariste en Angleterre, de la part du magazine 'Sound'). Parallelement, le nouveau hit, Flying Hight Again, montait dans les charts, l'album Blizzard of Ozz, se vendait à un rythme de 6000 copies par jours et Diary Of Madman fut platine en 146 jours.
Cette tournée mémorable qui fut marquées par quelques incidents: le boycott de leur concert dans de nombreusse villes par la ligue de protection des animaux (Note de guitar web: Ozzy fit effectivement quelques misères à des chauves souris et des colombes sur scène...).
Voyageant avec une équipe de techniciens de Las Vegas et Broadway, Randy passa donc directement des concerts de Quiet Riot dans des clubs aux plus grands stades des Etats-Unis avec une scène qui fut la plus élaborée que Ozzy ai jamais réalisé.
L'intéret de Randy pour la guitare classique augmentait chaque jour d'avantage. Souvent, dans les villes ou Randy jouait, il prenait des cours de classique. Trés vite, il fut de notoriété publique que Randy souhaitait quitter le groupe temporairement afin de passer son degré de guitare classique. Il souhaitait également profiter de quelques propositions de sessions studio qu'il avait reçu.