En bemærkelsesværdig speciel by, opdelt i havneområdet, det gamle centrum af Karlovassi, midtbyen, den nye og bugten. Derfor taler indbyggerne i deres by i Karovasias flertal.
Navnet vil blive afledt af de tyrkiske ord Karli-Ovasi, hvilket betyder snevejr, men fordi det næsten aldrig snows i Karlovasi, har mange mennesker alvorlige tvivl om, hvorvidt denne historie er sand.
Forfatter Zafeiriou støtter ideen om, at stedet oprindeligt blev kaldt Kariova, senere ændret til Karlovassi. Nikos Dimitriou skriver i sin bog Samos folklore, at stedsnavnet er afledt af efternavnet Karlovas, dette er nok den korrekte fortolkning.
Karlovassi var engang et vigtigt kommercielt og industrielt center til behandling af læder, med en stor eksportmængde. De mange palæer, de store og rigt dekorerede kirker og overgivne fabrikker vidner om hans tidligere velstand. 3 km sydøst for Karlovassi, ved siden af vejen til Konteika, er Profit Elias Kloster (Profeten Elias) i en højde af 200 meter. Dens konstruktion begyndte i 1739 af munkene Neophilos og Gregorios.
Vest for Karlovassi er også stranden i Potami. Der er en varm kilde, og kapellet Metamorphosi går tilbage til det 11. århundrede og betragtes som den ældste på Samos. Det matematiske institut ved Det Ægæiske Havs Universitet er beliggende i en unik bygning i byen.
Du vil sikkert ikke finde den hyggelighed, du finder i Kokkari og Pythagorion. Den smukkeste del af byen er den gamle by, bygget på en bakke syd for havnen. I denne del, bygget i 1650 og nu kaldet Palio Karlovassi, står Agia Triada kirken på bakken.