أنشئ سرايا الرملة عام 1934 إبان الانتداب البريطاني على فلسطين، وبعد إعلان دولة إسرائيل عام 1948 تحول إلى مركز ل لجيش الإسرائيلي، وفي عام 1953 تم تخصيص جزء من السرايا كسجن للفدائيين الفلسطينيين، ثم حولت السرايا بكاملها في عام 1967 إلى سجن مركزي للجنائيين اليهود إضافة إلى الأسرى الفلسطينيين وخصوصاً من منطقة القدس.
وأنشئ مستشفى داخل السجن تابعة لمديرية السجون الإسرائيلية بهدف معالجة الأسرى، كما ألحق به معتقل للنساء “نفي تريتسا” خصص للأسيرات الفلسطينيات والجنائيات الإسرائيليات.
ويعتبر سجن الرملة سباقا في خوض الإضراب عن الطعام حيث أعلن الأسرى في مطلع عام 1968 إضرابا مفتوحاً عن الطعام وكان مطلبهم الرئيسي وقف الاعتداء الجسدي ونقلهم من البركسات التي كانت عرضة لمياه الأمطار وطفو المجاري المستمر.
وفي منتصف 1968 أعلنوا إضرابهم الثاني عن الطعام وكان مطلبهم الرئيسي هو الدفاتر والأقلام ووافقت الإدارة على مطلبهم الذي اعتبر سبقاً لأسرى الرملة في هذا الخصوص.
ويعد سجن الرملة المعبر الرئيسي للحركة بين السجون حيث أنه عادة ما يتم وضع الأسرى المنقولين من سجن إلى آخر في هذا السجن قبل إرسالهم إلى السجون الأخرى. ويوجد حاليا في قسم النساء 54 أسيرة بجانب خمسين أسير فلسطيني، وفي مستشفى سجن الرملة يوجد ما يزيد على سبعين أسير.