Ім'я 'Олуй' походить від патронімічної назви, яке реставрується на основі ім'я батька. Однією з ранніх згадок є 1218 рік, коли Семен Олуйович був боярином у володимир-волинського воєводи Данила Романовича. Етимологія цього імені, ймовірно, пов'язана з діалектним словом 'олуй', яке означає 'олія'.