Autrefois (XVIIIe) dans une maison, on nommait "pot" la marmite suspendue au-dessus de l'âtre et qui tenait le repas du jour au chaud. Lorsqu'un visiteur passait et s'il était invité à rester pour le dîner, il pouvait tomber sur un plat délicieux... ou infect. La "fortune" signifiant alors la chance plutôt que la richesse, l'expression "à la fortune du pot" signifiait la chance que l'on aurait ou pas de tomber sur un bon repas.
Aujourd'hui, quand des visiteurs viennent à l’improviste à l'heure du dîner et sont invités à rester, on utilise cette expression pour signifier que le repas partagé sera sans prétention, tel que celui que les hôtes auraient pris s'ils avaient été seuls.