湛江旅游人数较少的原因主要有以下几点：

宣传力度不够：

湛江的知名度和宣传相比三亚等旅游热点城市明显不足。三亚的旅游宣传铺天盖地，而湛江在这方面的投入较少，导致很多人对湛江的旅游资源了解不多。

交通不便：

湛江的交通基础设施相对滞后，没有高铁和动车，航班数量也较少，给游客带来不便。此外，湛江市区与主要城市的距离较远，缺乏便捷的交通连接，这也限制了游客的到来。

卫生条件欠佳：

有游客反映湛江的卫生条件较差，影响了旅游体验。虽然这可能只是部分现象，但确实影响了湛江的旅游业形象。

旅游资源开发不足：

湛江虽然拥有丰富的自然资源和人文景观，但旅游资源的开发和维护不够完善。例如，湖光岩景区常被吐槽没什么好玩的，东海岛等海岛的旅游资源也未得到充分开发和宣传。

气候因素：

湛江的气候与海南相比，冬季较冷，这影响了部分游客的选择。尤其是在冬季，很多人会选择去海南避寒，而忽视了湛江的旅游资源。

市场定位问题：

湛江的发展定位主要是农业和工业，旅游业并不是其重点发展的领域。因此，与以旅游业为主导的三亚相比，湛江在旅游业的投入和基础设施建设上相对滞后。

综上所述，湛江旅游业的发展受到多方面因素的影响，包括宣传力度、交通条件、卫生条件、旅游资源开发、气候因素以及市场定位等。要提升湛江的旅游业，需要在这些方面进行改进和优化。