Мистический триллер - детектив, замешанный на необъяснимой мистической оккультной лабуде. (Шестое чувство, Сердце Ангела, Дьявол и т.д.)
Ужасы - фильм, задача которого напугать зрителя (Хэллоуин, Кошмар на улице вязов, Рассвет мертвецов и т.д.)
Хотя, за последнее время жанры настолько перемешались, что провести четкую грань уже проблематично. Нужно отталкиваться от задачи самого режиссера, что он хотел тем или иным фильмом добиться - напугать или разобраться. Как пример, "Изгоняющий дьявола" - мистический триллер, режиссер пытается разобраться с таким явлением как одержимость, а вот "Омен" - это уже фильм ужасов, так как режиссер поставил задачу напугать зрителя.