Entonces sólo necesitarías el puerto de señalización SIP (UDP 5060) y el rango que tengas definido para RTP en el archivo rtp.conf o rtp_additional.conf, normalmente del 10,000 al 20,000 de UDP:
[general]
rtpstart=10000
rtpend=20000
Si eso es lo único a lo que requieres acceso desde afuera no necesitas tener más puertos abiertos.
Es importante que tomes las precauciones necesarias para evitar comprometer el equipo (contraseñas seguras, límite de llamadas por canal, ACLs, etc.)
Saludos