อาลีได้พัฒนาฝีมือการชกขึ้นเป็นลำดับจนกระทั่งคว้าแชมป์มวยสากลสมัครเล่นรุ่นไลท์เฮฟวี่เวทของเมืองหลุยส์วิลล์ จากนั้นได้ครองแชมป์ระดับภูมิภาคของชิคาโก ได้แชมป์มวยสากลสมัครเล่นแห่งชาติ และประสบความสำเร็จสูงสุดจากการได้เหรียญทองเว็บมวยสดในรุ่นไลท์เฮฟวี่เวทในการแข่งขันโอลิมปิคที่กรุงโรม ประเทศอิตาลี หลังจากนั้นอาลีได้เดินทางกลับสหรัฐอเมริกาเยี่ยงวีรบุรุษ แต่เมื่อเขาได้เข้าไปที่ภัตตาคารแห่งหนึ่งเพื่อที่จะเฉลิมฉลอง กลับถูกบริกรในร้านปฏิเสธเพราะมีข้อกำหนดว่าบริการเฉพาะคนขาวเท่านั้น