V říjnu roku 1888 odjel Gauguin na pozvání Vincenta van Gogha do Arles, aby se pokusil vybudovat společnost umělců, o které van Gogh dlouho snil. Gauguin přijel do Arles 20. října. Do 25. prosince se všechny naděje rozplynuly, všechny plány byly zničeny. Gauguina a van Gogha poháněly velmi rozdílné povahy a motivace a jejich vztah nakonec ztroskotal, když Gauguin dal jasně najevo, že si nepřeje být součástí "umělecké společnosti". Zápisy vyprávějí o tom, jak van Gogh vyhrožoval Gauguinovi břitvou, když to uslyšel, po čemž Gauguin uprchl a přenocoval v hotelu. V reakci na toto odmítnutí si pak van Gogh uřízl část ucha, což vedlo k jeho zatčení a hospitalizaci. Brzy poté Gauguin opustil Arles, aniž by se se svým bouřlivým přítelem ještě znovu setkal, což van Goghovi zůstalo navždy zahořklé.
Gauguin a van Gogh pracovali v Arles na stejných tématech. Dílo Noční kavárna v Arles (Paní Ginouxová) byla Gauguinovou reinterpretací dvou van Goghových obrazů: Noční kavárna a Portrét paní Ginouxové (viz obraz ze včerejška). Gauguin později plátno přepracoval a přidal na něj postavu na krajní levé straně a muže rozmlouvajícího s prostitutkami. Tyto dvě postavy i samotnou paní Ginouxovou už van Gogh zobrazil na jiných dílech. Dílo je podepsáno na dvou místech: na mramorovém stole a na okraji kulečníkového stolu.