三层结构该怎样优化?数据库端如未设索引,能否在应用程序服务器端优化以加快查询? (170分)

  • 主题发起人 猎手1号
  • 开始时间

猎手1号

Unregistered / Unconfirmed
GUEST, unregistred user!
我用三层作的连接速度总是太慢,与直接用二层连接相比慢了不知有多少倍,哪位知道应该
作怎样的优化才能加快速度?
不要告诉我去看书,书上说的比较分散,我又等着急用。
另外,由于后端数据库是由别人维护的,经常需要导入数据,因为怕影响导入速度,所以
没设索引,能否在应用程序服务器端进行优化,使之同样能达到加快查询速度的目的。
 
你用什么做中间层
 
socketConnection
 
优化建议:
多层结构速度慢的原因主要有三:1 大数据量网络传输 2 数据在层次间编组 3 Com+对象创建,
而最后一点无法改变,前两点优化则会有很大效果。对于大量取得数据操作,可由两法优化,A 每次
取一定数量数据例如1000,B 不通过编组方式取数(以上实现方法详见李维老师的书),对于大量
数据更新操作,个人实践经验不采用DataSetProvider的机制自动提交,而改为手动提交,甚至手动
语句提交,速度绝对有进步(相差两倍以上)。优化主要找到速度瓶颈存在何处数据库还是中间层
还是客户端,是运算还是数据,便可以针对关键问题解决之,这其中还是有很多技巧的,优化的过
程有不少乐趣哦,我曾经开发过的统计系统就在优化后速度提高了两倍以上。
 
还有接口调用的问题,频繁的调用会严重影响效率!
李维的 delphi 5.x分布式多层次应用 系统编有详细说明!
 
我只是从一个几百万条记录的表中取出符合条件的几条记录,就花费了我几分钟时间,这究竟
是怎么回事呢?
 
买李维的书看看.你的那个问题有解答.
 
数据库方面的优化,和缓存提交
 
我说过了,不要跟我说看书的事,我这会急用。拜托了!
 
问题在于你的select 语句问题,你没有使用在索引上检索数据;
select * from tabl1 where zd1='abc'
如果在数据库中对字段zd1进行索引,使用下面的语句,速度成倍提高,几百万条记录只需要
几秒钟
select * from table (index=zd1) where zd1='abc'
 
转载
可能对你有点用
Client:TSocketConnection 和Server: Scktsrvr关系----压缩数据传输
一直用SocketConnection和服务端的传输数据在三层数据库中,从来没有注意到它们之间的数据传输,只是想着,管它了,网络的事,前段时间在Delphi中的Demos中发现Demos/Midas/Intrcpt.dpr例子,呵呵,再看了半天的VCL发现可以将Client端发送的给Server的数据,和Server发送给Client的数据是可以进行压缩的。呵呵,不敢藏私,Share给大家。
1: 准备工作,先delphi光盘中的/info/extras/zlib/zlib.pas进行编绎,然后copy 到lib路径中,因为要压缩数据,必须要有压缩功能,这个delphi已经自带,它是基于流的方式对接口IDataBlock(TDataBlock实现,其实就是对TMemoryStream的操作)数据进行压缩和解压的。做了这个后,才能进行下面的工作。
2: Open /Demos/Midas/Intrcpt/Intrcpt.dpr
complier....(如没有做第一步,嘿嘿...)
生成Intrcpt.dll
将Intrcpt.dll copy to System directory,或者你的程序下面。
注册它:regsrvr32 Intrcpt.dll (为什么,这个嘛...)
记住Intrcpt.dpr的那个GUID,你也可以自己重新生成一个(按Shift+Ctrl+G)
3: Server:
Open scktsrvr.exe,相信各位都很熟悉那界面,端口(TListbox),Thread Cache Size(TEdit), GUID(TEdit),好,我们要做的事,就是将注册的Intrcpt.dll那个GUID填到这个GUID(TEdit)框框中,
只需填自己程序的的那个端口的GUID啊,别乱填,如果有别人用这个程序,出了什么,别找我。OK,Apply.
Client:
你写的程序中肯定有TSocketConnection,它有个属性InterceptGUID: string;好了,将Intrcpt.dll的GUID填上去,它是跟Server中的一样的。OK.还有别忘了,Regsrvr32 intrcpt.dll 在你的客户端。不然,程序虽不会raise,但是Server传过来的数据是压缩的....
讲讲原理不,打字太慢了,过段再写。
scktsrvr.exe其实是一堆TServerSocket,一个端口代表了一个TServerSocket,每个TServerSocket是基于多线程方式与客户端进行数据交换。它写了个TServerClientThread(在服务端中的客户端)的扩展
,多加了对客户端数据接收的管理解析,还有ActivityDateTime,GUID,一般不管它。但是我们用到的压缩只是跟这个GUID有关,其它费话少说。

Server接受一个Client连接,则加一个TServerClientThread到本地中,用来监控Client Read 和Close事件,所以Server中的scktsrvr中我们只要了解了TServerClientThread动作方式就行了。
(
题外话:Server Socket中有客户端连接后,记录ClientSocket.Handle,并且将根据这个Handle产生一个TServerClientWinSocket对象加入到Connections(TList)对象中,当任何对这个Client的动作也就是说Server 发送和接收数据都是根据这个Client Handle来进行的,相应的ServerSocket中的Connections中的ClientSocket也发生相应的变化。
)
有两个类跟这个TServerClientThread(实现ISendDataBlock接口)有关
1: TDataBlockInterpreter(对发送过来的数据进行解析InterpretData(Data: IDataBlock))
解析数据(水平有限,对它真是还是一知半解,有错请指出)
接口类IDataBlock,由TDataBlock通过TMemoryStream的读写来实现,其中Signature是其主要标识,说明这个IDataBlock的数据类型 ,TDataBlockInterpreter根据Signature来对应进行相应的调用, 如:
Client端连接后,在Server要运行应用服务器(Application Server),
Client端需要得到ServerName 列表,
Client端得到Server 的DataBroker的列表,
Client端断开连接后,Server要Close应用服务器(Application Server),
Client和Server的数据交换,也是由它来解析。
所以这个IDataBlock的数据很重要,而我们的压缩和解压就是针对于它,但是TDataBlockInterpreter是得到Data才对它解析,因而我们要在Send 和Recv 之前对它解压和压缩。这个任务在TSocketTransport身上。
2: TSocketTransport;(数据进行发送和接收, 实现ITransport接口)
Server端:
在Server端,TSocketTransport其实就是一个用来管理对ClientSocket实例,它将ClientSocket.Handle生成一个对象后,ClientSocket发送和接收过来的Data,在发送Data之前,它将调用InterceptOutgoing(Data: IDataBlock)函数,这个函数的功能是:
如果InterceptGUID <> '',那么它将根据这个GUID生成一个COM(Obj)对象,Obj.DataOut(Data: IDataBlock),也就是我们注册的那个压缩的DLL中的那个压缩函数,将压缩过后的Data再发送出去。这就完成compress and send Data.(我试过那个压缩功能,压缩比大概是1/9,像zip压缩比差不多).
由客户端传过来的数据调用InterceptIncoming(Data: IDataBlock)函数,这就不多说了,Data := 解压后的Data. 压缩和解压过后的Data交由TDataBlockInterpreter去解析,完成一次数据交换。
Client端:
说完Server端,客户端的道理也是差不多的。唯一不同的是Server端中不调用ITransport.SetConnected()方法,因为它是根据ClientSocket.Handle生成的对象,也就是它是已经连接的对象,而Client端的TSocktConnection调用Connected := True时,其实就是调用ITransport.SetConnect将一个ClientSocket连接到Server端中的TServerSocket中,然后TServerSocket根据这个ClientSocket.Handle生成了一个TServerClientThread对象保存在本地中,开始对这个ClientSocket的监控(FD_Read, FD_Close消息事件).
注:
IDataBlock由TDataBlock实现,主要是管理TMemoryStream来存放数据
ITransport由TSocketTransport实现,主要是用TClientSocket来连接TServerSocket,并和它进行交换数据。
ISendDataBlock在Scktsrvr.exe中由TServerClientThread实现,通过TSocketTransport来发送数据.
说了这么多,想必各们很明白了吧。:)

这个现实点,我测试过了,效果比dcom差点,相比socket要快多了
 
如果你要intrcpt.dll我已经有了,不麻烦的话留下,email,我发给你
 
Hunteam@21cn.com
 
已发出,请查收
 
1、因为建立COM+对像是比较费时的,要尽早建立COM+对像,然后存到一个变量中,以便随后使用
2、事务管理越晚发生越好,且执行完后立刻调用SETCOMPLETE/SETABORT释放资源
3、客户端要采用少量多次的办法存取数据
4、正确设定一些存取组件的属性,如:CURSOR LOCATION,CURSOR TYPE等。
 
请大家再看看后一个问题,另外,在后端数据库没设索引的情况下,能否在应用程序服务器
端进行优化,使之同样能达到加快查询速度的目的。
 
>请大家再看看后一个问题,另外,在后端数据库没设索引的情况下,能否在应用程序服务器
>端进行优化,使之同样能达到加快查询速度的目的。
只能对sql语句进行优化,不同的SQL语句在执行相同任务下效率的差别还是很大的
 
to only you:能举个例子吗?
 
请问:zhousi
在C/S系统中可以压缩数据吗?有没有什么方法.
 
http://delphibbs.com/delphibbs/dispq.asp?lid=1468562
 
顶部