В шоуто „Фермата“ Ивайло Караньотов вече на няколко пъти изригна на тема комунистическия режим, повод му даваше присъствието на внучката на последния шеф на УБО – Гергана. Въпреки че мъжът на Аня Пенчева в крайна сметка промени мнението си за момичето и я оцени като участник, на дуела, на който тя отпадна дори и даваше напъствия и кураж, Караньотов продължава да вини режима за несгодите, които семейството му е преживяло.

Ивайло е категоричен, че именно заради комунистите неговата спортна кариера е била унищожена. Омраза към първите от онези години той е насъбрал и заради жертвите, които собственото му семейство е дало заради убежденията си. Софиянката Христина, която е като негова сянка в шоуто, е поредният участник, който пожела да научи подробности за живота му през онези години. Ивайло обяви, че собствената му баба не му позволила да носи чавдарска връзка, защото според нея това би било предателство към дядо му.

Въпреки че дядо му помогнал за построяването на пристанищата в Бургас и Варна, в един момент той се оказал неудобен на властта и бил осъден на смърт. От кончина успяла да го спаси дъщеря му, актрисата Славка Славова. Майката на Ивайло Караньотов случайно срещнала един от големите по онова време и го помолила за помощ. Явно актрисата е успяла да повлияе с думите си и смъртната присъда е била отменена.

Това обаче била малка радост в сравнение с всичко, което семейството продължило да търпи през годините. Всички били изгонени от родната си къща в Берковица и били принудени да се изхранват с плетене на ръкавици. Майка му пък била изгонена от всички театри. Бащата на Ивайло също бил тикнат в затвора, където се запознал с бъдещия си тъст. „Най-голямата ми болка е избиването на интелигенцията. Това не мога да простя, защото сред тях имам роднини“, заяви Караньотов.