Øya ble oppdaget 21. august 1821 av det britiske skipet «Eliza Francis», eid av Edward, Thomas, og William Jarvis. Navnet ble gitt av skipets kommandør kaptein Brown. Den ubebodde øya ble proklamert amerikansk territorium i mars 1857 og formelt annektert 27. februar 1858, men forlatt i 1879 etter at tonnevis med guano var tatt med fra øya. Storbritannia annekterte øya 3. juni 1889, men gjennomførte aldri noen videre utnyttelse av øya. Guna-forekomstene ble utvunnet inntil slutten av 1800-tallet.
USA okkuperte og gjenerobret øya i 1935.
