El barrio está constituido por callejuelas estrechas y casas con grandes voladizos, balconadas y abundancia de materiales autóctonos, como la madera de castaño, el adobe y el granito. Se extiende desde la Plaza hasta el río Ambroz y el puente de la Fuente Chiquita. Se conservan aún los nombres de las calles Sinagoga, Rabilero o Cofradía. Aunque no quedan restos de la sinagoga, la tradición oral la sitúa en la calle Rabilero, número 19. En este edificio, existió una galería que sobresalía a la calle, formando un soportal; fue derribada en 1949. Otros edificios relacionados con la comunidad hebrea son la casa de la Cofradía, que dispone de lagar y almazara en su interior, y el hospital de Beneficencia, regentado por judíos conversos y situado en la calle del Vado.
Con la promulgación del Edicto de Expulsión por los Reyes Católicos en 1492, muchas familias judías fueron hacia tierras portuguesas y otras se convirtieron al cristianismo formando la Cofradía católica de San Gervasio y San Protasio, la cual derivaría posteriormente en la Cofradía de Nuestra Señora de la Asunción de Aguas Vivas. Los judíos se dedicaron principalmente al ejercicio de zapatero, curtidor de piel, sastre, lencero, escribano y prestamista. Aún perduran actividades artesanales, fundamentalmente relacionadas con la madera, y algunos ejemplos de cuero, forja o vidrio.
En 1969 fue declarado conjunto histórico-artístico, y desde 1989 se han llevado a cabo por parte de la administración diversos trabajos de restauración y conservación del conjunto a través de escuelas taller y casas de oficios, siendo incluida la zona dentro de un Área de Rehabilitación Integral. Finalmente, en 1996 el ayuntamiento del municipio promovió entre diferentes ciudades españolas con un marcado carácter hebreo la creación de una asociación que las agrupara, conformando la Red de Juderías de España, que aún se mantiene vigente.