La Virgen de los Santos Reyes (Reyes Magos), era la patrona de los negros de la ciudad. En toda Andalucia y América, las hermandades de negros tenían el titulo de Virgen de los Reyes y en Sevilla el Arzospispo Gonzalo de Mena funda en 1399, junto a la puerta de Carmona y junto al nobiliario convento de San Agustin, panteón de los Ponce de León, el humilde Hospital y la hermandad de los negros de Sevilla, desde entonces, las más antigua de la ciudad, dado que los negros no podian pertenecer a ninguna otra hermandad. Se llamaba hospital y hermandad de la Virgen de los Reyes.
Siguiendo el ejemplo del arzobispo, los principales nobles como don Juan de Guzmán, duque de Medina Sidonia deja a la cofradía mil maravedíes en 1463 y por testamento y ya ningún amo se atrevía a maltratar a su esclavo negro injustamente por temor a que la Hermandad, que contaba con el apoyo de la Iglesia y de algunos principales señores, le pidiese cuentas de su injusticia.
Las representaciones de la Virgen de los Reyes con los tres Reyes Magos, uno de ellos, negro dio pie a la mayor fiesta anual de los negros de la ciudad el 6 de Enero, muestra de que aunque esclavos y salvajes podían ser salvados por el cristianismo. La fiesta de los negros sevillanos el 6 de enero era una gran fiesta con bailes y fiestas en honor a la Virgen, con grupos de danzas africanos, que no eran bien vistos por el Arzobispado, lo que condujo a un cambio de nombre de la Hermandad a mediados del XVI pasando a llamarse de la Virgen de los Angeles.
Los esclavos que deseaban unirse a la hermandad necesitaban obtener el permiso por escrito de sus dueños. Esto refleja la realidad de la esclavitud en esa época y la dependencia de los esclavos de la voluntad de sus amos. Solo los negros podían formar parte de ella y los blancos solo si eran secretarios o benefactores.
El respaldo eclesiástico a la hermandad permitía una mayor integración de la comunidad negra en la sociedad sevillana y brindaba cierta protección y reconocimiento dentro de un marco legal y social que, de otra manera, podría haberles sido adverso.
También había hermandades específicas para otros grupos étnicos y raciales, como los gitanos y los moriscos. Estas hermandades funcionaban como espacios de refugio y apoyo mutuo para sus miembros, al mismo tiempo que reflejaban y reforzaban la división racial y étnica en la sociedad.
A las afueras de la puerta de Carmona, junto a San Agustín vivían la mayoría de negros de la ciudad, en el Barrio de San Roque uno de los más humildes, donde tuvo desde el XVI la hermandad de negros su primera capilla y viviendas. Por ser la más antigua era invitada a participar en el Via Crucis al humilladero de la Cruz del Campo, desde la casa de Pilatos, origen de la Semana Santa de Sevilla, portando la cruz de las tollas, que imitaba a la que se colocaba en la puerta de dicho palacio.
Gracias a la capilla de los Angeles la población negra que vivía en los barrios de San Roque y San Agustín recibir los sacramentos sin la necesidad de entrar en la ciudad. Antes de que la capilla se convirtiera en parroquia, los negros que vivían fuera de las murallas, especialmente cerca de la Puerta de Carmona, tenían dificultades para acceder a los sacramentos, ya que las puertas de la ciudad se cerraban por la noche y no se abrían hasta el día siguiente
Además de tener su propia capilla, donde popder comulgar, supuso un gran paso para la comunidad de negros de la ciudad de Sevilla la aprobación canónica de la Hermandad de los negros ya que de esta forma recibían el visto bueno y el respaldo de la autoridad eclesiástica. Debido a la situación marginal de su componente está hermandad era la que tenía mayor interés en regularizar su situación para evitar así cualquier tipo de problemas.
Muy cerca de la capilla de la hermandad de negros la calle del «Conde Negro» recuerda a Juan de Valladolid nombrado por los Retes Católicos en 1475, Mayoral y Juez de todos los negros y mulatos, tanto libres como esclavos, en la ciudad de Sevilla y su arzobispado responsable de mediar en asuntos internos y pleitos de menor importancia entre las personas de su raza, así como actuar como intermediario legal entre los esclavos y sus amos o la justicia.
Desde su fundación los conflictos sociales en torno a la procesión de la Hermandad de los Negros el Jueves Santo eran notorios, porque siendo la más antigua, tenía el lugar preeminente en las procesiones, lo que generaba controversia entre algunos sectores de la sociedad sevillana, especialmente entre miembros de la nobleza.
El traslado de los restos mortales a la Cartuja, del fundador de la hermandad y benefactor, el Arzobispo Gonzalo de Mena, en 1594 fue presidida por la Cofradía de los Negros con otras cofradías de blancos, algo que no era común en esa época despertando ya rencillas y envidias entre los partidos nobiliarios que eran liderados por los Ponces y Gizmanes.
En 1600, el paso de la Cofradía de los Negros durante la Semana Santa era objeto de burlas y mofas por parte de algunos espectadores, lo que causaba escándalo en la ciudad y preocupación entre las autoridades eclesiásticas. En algunas ocasiones al paso por la catedral le tiraban piedras a la hermandda y en alguna ocasión le dio al cristo, provocando la preocupación de las autoridades.