Tatsächlich malte er sechs sehr ähnliche Gemälde derselben Frau – deren Name Madam Marie Ginoux war. Während er in Arles lebte, residierte Van Gogh im sogenannten "Gelben Haus" - das Haus war der rechte Flügel von 2 Place Lamartine, Arles, wo Van Gogh vier Zimmer mietete, in denen er malte und lebte. In der Nähe des Gelben Hauses befand sich ein Café, dessen Besitzer Madame Ginoux und ihr Mann waren, genannt Café de la Gare. Van Gogh war ein häufiger Kunde im Café de la Gare, und er schloß eine Freundschaft mit beiden Eigentümern.

Sein Freund aus Paris, Paul Gauguin, kam in Arles an und übernachtete in einem der Zimmer im Gelben Haus, die Van Gogh mietete. Das Paar besuchte das Café zusammen, nahm unzählige Mahlzeiten zu sich und knüpfte dort Kontakte. Anfang November 1888 posierte Madame Ginoux für beide Künstler in einem damals typischen Arlésienne-Kleid; Insgesamt fertigte Van Gogh sechs Versionen dieses Porträts an, alle mit subtilen Unterschieden und Ähnlichkeiten. Es ist interessant festzustellen, dass vier der sechs Gemälde, die Van Gogh schuf, von einer Zeichnung von Madame Ginoux von Gauguin stammten, und er malte die vier, während er stationär in der Nervenheilanstalt von Saint-Rémy war.

Das berühmteste der sechs Porträts – das Gemälde von Madame Ginoux mit Handschuhen und Regenschirm auf dem Tisch vor ihr – befindet sich heute im Musée d'Orsay in Paris. Es war dieses Gemälde, das Van Gogh in einem Brief an seinen Bruder Theo als "eine Arlésienne ... in einer Stunde abgeschlagen" beschrieben hatte. Van Gogh hatte in einem Brief an seine Schwester vom Juni 1890 erklärt, seine Philosophie für die Porträtmalerei – und insbesondere die sechs Gemälde der L'Arlésienne von Madame Ginoux – sei es, sie in hundert Jahren als Offenbarungen für die Menschen erscheinen zu lassen.

Er erklärte weiter, dass er diese Offenbarung nicht durch fotografische oder exakte Ähnlichkeit erreichen wollte, sondern durch die Wiedergabe unserer leidenschaftlichen Gesichtsausdrücke. Van Gogh erreicht dies mit der L'Arlésienne, indem er die Wertschätzung und das Wissen über Farbe als Mittel zur Interpretation und Förderung des eigenen Charakters nutzt.