Empieza a componer el libro en 1924, tras su indagación en el alma y el cante andaluces para el Concurso de Cante Jondo de 1922. Por estas fechas, Federico alternaba su estancia en la Residencia de Estudiantes, en Madrid, con su vida en Granada, sus veranos en Asquerosa y una estancia corta en Lanjarón a acompañar a su madre a tomar las aguas.
El verano de 1924, en julio, comienza un cuaderno con ese título, Romancero gitano, en el que copia en primer lugar el Romance de la luna, luna, escrito un año antes. En otras páginas, el 30 de julio, añade el Romance de la pena negra y el 20 de agosto La monja gitana (sin título). También de agosto es el Romance sonámbulo y, quizá, el Romance de la Guardia Civil.