根据汉赋四大家的定义和历史评价，不属于汉赋四大家的人物如下：

枚乘

枚乘是西汉初期的辞赋家，以《七发》闻名，但未被列入汉赋四大家。

司马光

司马光是北宋时期的史学家，以《资治通鉴》著称，与汉赋无关。

曹操

曹操是东汉末年的政治家、文学家，其作品以诗歌为主，如《观沧海》，不属于汉赋范畴。

其他选项辨析

- 张衡：

东汉科学家、文学家，代表作《二京赋》是汉赋四大家之一。

- 扬雄：西汉辞赋家，代表作《七发》《法言》属于汉赋四大家。

- 班固：东汉史学家，代表作《史记·礼乐志》和《二京赋》是汉赋四大家成员。

补充说明

汉赋四大家通常指司马相如、扬雄、班固、张衡四人，他们代表了汉大赋的巅峰，对后世影响深远。其他选项中，班固、张衡、扬雄均属于四大家，而枚乘、司马光、曹操因时代或文学体裁不符，故排除。