Seine freundlichen Babytiere bevölkerten ein Dutzend der Little Golden Books. Mel Gussow schrieb in der New York Times:  Er glaubte, dass Bücher, die Kindern gegeben oder gelesen wurden, einen tiefgreifenden Einfluss haben können! Aus diesem Grund, sagte er, benutzte er seine Illustrationen, um zu versuchen, etwas von Bedeutung zu erwecken  ... Humor, Verantwortung, Respekt für andere, Interesse an der Welt im Allgemeinen!

Er war der Sohn von Hamilton Williams und Florence Stuart Davis. Williams' Vater war Cartoonist für  Punch  und seine Mutter war Landschaftsmalerin. Er beschrieb sie mit den Worten: "Jeder in meinem Haus malte oder zeichnete ständig." Er wuchs auf Farmen in New Jersey und Kanada auf, bis die Familie 1922 nach Großbritannien umzog, wo seine Eltern herkamen. Williams studierte dort Architektur und arbeitete eine Zeit lang als Assistent eines Architekten. Als die Weltwirtschaftskrise kam, entschied er sich, Künstler statt Architekt zu werden. Er begann sein Studium an der Westminster School of Art im Jahr 1929 und erhielt 1931 ein vierjähriges Stipendium am Royal College of Art.