回族人进入西昌，始于元而盛于明清。现主要分布在高草、西郊、黄联等交通发达的乡（镇）以及西昌市区内。
在西昌城区吉羊巷有着攀西地区最大的清真寺——西昌吉羊巷清真寺，其原址在城区老西门，是元朝泰定年间（公元1324年～1327年）由外地来西昌经商的60余户回族集资兴建的。明朝万历二年（公元1574年）迁来现址重新修建。现在寺中有阿訇7人，师父3人。西昌回族，除跟汉族共庆春节、端午节、中秋节等之外，还要欢庆本民族的“开斋”、“圣纪”、“古尔邦”三大节，甚至还邀请国外的穆斯林参加。