просто REFERENCES ничего не делают
они для совместимости с другими СУБД
что касается foreign key - они поддерживаются только у таблиц InnoDB (обе таблицы), проверь какой тип твоей таблицы.
SHOW TABLE STATUS LIKE .. или SHOW CREATE TABLE
кроме того оба столбца (rules_id и rules(id)) - должны быть проиндексированы.
ПС: Если хочешь поиграться с foreign key я бы тебе посоветовала проапгрейдится до 3.23.52, там не только проверякется ссылочная целостность, но и работают ON CASCADE DELETE, ON CASCADE SET NULL
да и багов достаточно было пофиксено.