关于使用内网IP和公网IPsocketserver响应速度慢的问题(100分)

我用D7+socketserver写了一个服务端。客户端用的是socketclient连接。
服务端电脑和我同在一个局域网了，当我使用内网IP访问的时候（192.168.1.5），
客户端连接以后马上得到服务端的响应。
而服务端电脑换成公网IP以后（61.128.25.3）以后，
客户端上显示连接以后。大概要等两三秒才能得到响应，而同时在这两三秒的时候，服务端处于假死状态（鼠标点的时候无响应）。这个时候如果上百个用户登陆的时候。那么好多用户就要等十几秒甚至几十秒才能得到响应。
客户端连接服务器后发送32字节包。然后服务端收到后。
服务端和客户端连接以后。只是发送一个简单的数据包（32字节）

不知道问题是出在哪里，哪位大哥能帮帮解决一下！