Oficialiomis poniomis Hafner skirtingu laiku buvo trys moterys, kurios pagimdė keturis jo vaikus.
Dar prieš „Playboy“ atsiradimą, 1949-aisiais Hugh Hefneris vedė bendraamžę studentę Mildred Williams, su kuria susilaukė dviejų vaikų – dukters Christie Hefner (64 m.) ir sūnaus Davido (62 m.).
Tiesa, Hugh Hefneris yra pasakojęs, kad dar prieš santuoką Mildred prisipažino buvusi jam neištikima, kol šis tarnavo kariuomenėje, tačiau jis jai atleido ir jie pasiryžo kurti bendrą gyvenimą.
Vis tik Mildred kamavo didžiulis kaltės jausmas ir gėda, tad ji neprieštaravo Hugh Hefnerio santykiams su kitomis moterims. Jų santuoka ištempė 10 metų.
Subyrėjus pirmajai santuokai, Hugh Hefneris net 30 metų mėgavosi viengungio, kuris niekada nebuvo vienišas, gyvenimu – tuo metu „Playboy“ išgyveno aukso amžių, tad Hefnerį nuolatos supo šimtai dailių, jaunų merginų.
1989-aisiais jis pasiryžo antrą kartą vesti – šįkart jo žmona tapo 37-eriais metais jaunesnė Kimberley Conrad (55 m.), buvęs „Playboy“ modelis. Naujoji ponia Hefner buvo dešimčia metų jaunesnė už savo podukrą.
Ši santuoka, kurioje gimė dar du Hugh Hefnerio sūnūs Marstonas (27 m.) ir Cooperis (26 m.), truko devynerius metus. Nors pora išsiskyrė 1998-aisiais, jų santuoka oficialiai nutraukta tik 2010 metais, kai jauniausiam jų sūnui suėjo 18 metų.
Hugh Hefneris su paskutine savo žmona, taip pat buvusiu „Playboy“ modeliu Crystal Harris (31 m.) susitikinėti pradėjo 2009-ųjų sausį, kai gražuolei blondinei tebuvo 22-eji... Amžiaus skirtumas tarp judviejų – beveik 60 metų!
2010-ųjų gruodį pora susižadėjo, tačiau praėjus pusmečiui Crystal Harris likus vos trims dienoms iki suplanuotų vestuvių skandalingai nutraukė sužadėtuves. Gražuolė buvo praminta „pabėgusia nuotaka“, tačiau vėliau jiedu susitaikė ir galiausiai vis tiek susituokė – vyru ir žmona Hugh Hefneris ir Crystal Harris tapo 2012-ųjų gruodžio 31-ąją.
Jų santuoka gyvavo beveik penkerius metus, iki pat Hugh Hefnerio mirties šį trečiadienį.