Detta beslut fattades som en eftergift för den aggressiva hållningen hos familjemedlemmarna till de dödade under terroristattacken den 11 september 2001. Enligt deras åsikt borde det inte finnas några institutioner som kunde distrahera uppmärksamheten från denna tragedi på den plats där tvillingtornen stod. Tidigare tillkännagavs att endast de kulturinstitutioner som åtar sig att aldrig hålla utställningar och andra evenemang som skulle kunna förolämpa amerikanernas patriotiska känslor kan tas upp till WTC: s territorium. Som ett resultat har Drawing Center, som var tänkt att dela med Freedom Center en kritikerrosad byggnad som designades av det norska byrån Snohetta, sagt upp sitt hyresavtal och letar efter ett annat utrymme.
Således hotades Libeskinds plan igen: det var enligt hans projekt att kulturinstitutioner skulle placeras bredvid minnesmärket för offren för terrorattacken i "tryck" av grunden för förstörda skyskrapor. Nu är den enda garanterade "ägaren" av byggnaden besökscentret.
Det talar också om förändringar i myndigheternas ställning: Freedom Center, som föll i skam, uppfattades redan 2002 som en institution som ägnar sig åt historien om kampen för personlig frihet runt om i världen.
Efter guvernör George Patakis tillkännagivande om censur på WTC-webbplatsen i juli 2005 har många framstående offentliga personer lämnat rådet som leder designen och konstruktionen av det nya komplexet. Efter Patakis sista beslut lämnade flera fler människor dit, inklusive Agnes Gund, hedersdirektör för Museum of Modern Art och en framstående filantrop. Nu, enligt analytiker, kommer det att vara särskilt svårt att samla in pengar för byggandet av Snohetta-byggnaden och Michael Arad-minnesmärket. Således var byggnadens öde i fara. Framtiden för teaterbyggnaden designad av Frank Gehry är också osäker: arkitekten klagade till reportrar över den fullständiga bristen på kontakter med kunderna och genomförandet av projektet planerades för den "andra fasen" av restaureringen av World Trade Center - det vill säga i en avlägsen framtid.
