La création du département des Yvelines a été décidée par la loi du 10 juillet 1964, loi portant réorganisation de la région parisienne, qui a procédé à l'éclatement des anciens départements de Seine et Seine-et-Oise. Le nouveau département couvre la partie ouest de la Seine-et-Oise, à savoir la presque totalité des arrondissements de Mantes-la-Jolie, Saint-Germain-en-Laye et Versailles, une grande partie de l'arrondissement de Rambouillet et une petite partie de l'arrondissement de Pontoise).

Le nouveau département a conservé du département de Seine-et-Oise, dont il est issu, le code départemental 78, son chef-lieu, Versailles et son blason. La date officielle de mise en œuvre de cette réforme a été fixée au 1^er janvier 1968, date à laquelle est entré en fonction le nouveau conseil général élu en 1967. Le premier président du Conseil général fut Jean-Paul Palewski, député UDR de Saint-Germain-en-Laye.

L'année suivante, en 1969, les communes de Châteaufort et Toussus-le-Noble sont rattachées aux Yvelines au détriment de l'Essonne.

C'est le poète Jehan Despert qui est à l'origine du nom du département, s'inspirant du nom de l'ancienne forêt d'Yveline dont l'actuel massif forestier de Rambouillet est une relique. De Gaulle souhaitait appeler le nouveau département « Versailles» , et « Val de Seine » avait également été proposé. Mais c'est le nom suggéré par Jehan Despert qui a été adopté par l'Assemblée Nationale en 1968, sur proposition de Jean-Paul Palewski.
Le nom d’Yvelines aurait pour origine étymologique le mot celtique ioline qui signifie « abondant en eau ».

Le territoire actuel des Yvelines est peuplé depuis les temps préhistoriques. De nombreux vestiges préhistoriques ont été retrouvé, depuis le paléolithique ancien jusqu'à l'âge du Fer. On peut encore voir, surtout dans le nord du département les restes de monuments mégalithiques du Néolithique. La période gauloise, au cours de laquelle la région se trouvait dans le domaine des Carnutes, a laissé peu de vestiges, le site le plus remarquable étant le sanctuaire de Bennecourt qui a subsisté jusqu'à l'époque gallo-romaine.

De l'époque gallo-romaine on a pu reconnaître plusieurs sites, dont celui de Diodurum (près de Pontchartrain qui se trouvait au croisement de deux importantes voies romaines ainsi que plusieurs villae, notamment à Richebourg, Limetz-Villez et aux Mesnuls (La Millière), et un sanctuaire dédié au dieu Mithra à Septeuil.

De l'époque mérovingienne, on a retrouvé de nombreuses nécropoles, dont la plus importante se trouve à Vicq au centre du département. La présence de croix dans les sépultures atteste de la christianisation du territoire entre le IVe et le VIIIe siècle.