Decidisteis poner una piscina porque os dio la gana, y no os ocasiona ningún gasto extra que se bañe alguien más. Me parece muy surrealista que os creáis con derecho a "obligar" a algo. Si os molesta que vaya la gente, no la invitéis.

Yo entendería eso si fueseis a comer, pero ¿Para que vayan a la piscina? ¿En serio?

Yo lo veo bien :/ no siempre es invitar libremente, sino que el amiguete de turno entiende que piscina gratis, a ir cada vez que apetezca. Y sí ocasiona gastos: tener que limpiar más la piscina, la ducha...
Además, no sería nada raro que "ya que están" pidieran una bebida, merienda o incluso intentar apuntarse a cenar.
Si les piden un par de euros, o que pongan ellos la merienda (pudiendo aún, claro, invitar gratis a alguien si les apetece) esos caraduras disminuyen mucho.