Jaarsveld ligt aan de rivier de Lek ongeveer halverwege Amerongen en Schoonhoven. In 1235 vond een verbetering plaats van de bedijking tussen Amerongen en Schoonhoven. Nadien volgde de ontginning van de Komgronden, waarbij het systeem van cope-verkavelingen werd geïntroduceerd.
Een cope is een overeenkomst of een contract om een gebied (perceel) te mogen ontginnen. In deze cope werden de wederzijdse rechten en plichten tussen de ontginners en de grondeigenaren vastgelegd. Ook konden afspraken tussen de ontginners onderling hierin worden vastgelegd. De cope-ontginningen bevinden zich in zuidwest- en zuidoost-Utrecht en stammen uit de 12e en 13e eeuw.
Onderdelen van Jaarsveld dateren waarschijnlijk al van voor de grote ontginning. De voormalige gemeente Jaarsveld is in 1943 overgegaan in de gemeente Lopik. Een groot gedeelte van de nieuwbouw van Lopik is gebouwd op voormalig grondgebied van Jaarsveld.
Net buiten het dorp ligt het kasteel Jaarsveld (of kasteel Veldenstein). Het kasteel wordt voor het eerst vermeld in 1327, maar werd in 1673 vernield door plunderende Franse troepen. Daarna verviel het langzaam. In de nabijheid van het vervallen slot werd omstreeks 1760 het huidige Huis te Jaarsveld gebouwd door de vrijheer van Jaarsveld, Cornelis de Witt, een nazaat van de raadspensionaris Johan de Witt. Het is een bescheiden buitenplaats bestaande uit een eenlaags herenhuis en een klein park waarin de grachten van het oude slot zijn opgenomen.