Rodolfo,
El SME Server se comporta de maravilla como firewall, si sólo tienes un enlace a la Internet es mejor que SME tome las funciones de firewall, server (mail, DNS, DHCP, etc), además si tu enlace es dedicado (no ADSL) entonces deja que SME envíe directamente los correos sin pasar por tu ISP.
Si tienes más de un enlace entonces es mejor que instales un firewall con múltiples NICs para que se encargue de la protección perimetral y pon tu SME en la DMZ o, si confías en tu seguridad, en la LAN. Con esto último desaparecerá el error de Demasiadas Conexiones Simultáneas.
Por una urgencia tuve que mover mi SME server-only de un Xeon Dual Core 1GB a un Celeron con sólo 512MB y aún este equipo puede con la carga de 400 cuentas de correo y 100,000 mensajes/semana. Creo que los problemas que tienes son causados por la configuración de tu red, más que por ajustes del SME.
Si en algo te puedo ayudar, quedo a tus órdenes.
Saludos
Miguel Ángel Araujo
México