为什么我写文件的时候CPU占用率达100%，请大家帮我看看（附源码）。(50分)

ansili · 2006-11-30

这是写文件的一个线程，数据是从Socket上来的，收到数据放入待写队列。 这个线程负责将待写队列的数据写到文件中去，下面是写文件的方法。 麻烦帮我看看，谢谢！ procedure ProcReceiveHistoryThread.proReceiveHisData(  AMsgRecieveHisData: MyBodyReceiveHisData; ABuffer: PChar;  ALength: integer); var  filename : String;  FileHandle : Integer;  st,et : Cardinal;  curLength : Cardinal;  msgRecvHisData : MyReceiveHistoryData; begin  st := GetTickCount;  filename := DataPath + AMsgRecieveHisData.file_name;  FillChar(msgRecvHisData,SizeOf(MyReceiveHistoryData),0);  if FileExists(filename) then  begin    try      FileHandle := FileOpen(filename,fmOpenReadWrite or fmShareDenyWrite);      FileRead(FileHandle,msgRecvHisData,SizeOf(MyReceiveHistoryData));      if msgRecvHisData.current_length < msgRecvHisData.total_length then      begin        msgRecvHisData.total_length := AMsgRecieveHisData.total_length;        msgRecvHisData.current_length := msgRecvHisData.current_length + SizeOf(Cardinal) + ALength;        curLength := FileSeek(FileHandle,0,0);        FileWrite(FileHandle,msgRecvHisData,SizeOf(MyReceiveHistoryData));        //写数据部分        curLength := FileSeek(FileHandle,0,2);        FileWrite(FileHandle,ALength,SizeOf(integer));        FileWrite(FileHandle,ABuffer[0],ALength);      end;    finally      FileClose(FileHandle);    end;  end;  et := GetTickCount;  //AppendLog('=======写历史文件消耗时间: ' + FloatToStr((et-st)/1000)); end;

peizmbj · 2006-11-30

加上  Application.ProcessMessages ; 看看

cjwdone · 2006-11-30

这位同学，你好像忘加sleep(1)了，不然它会把所有的系统资源吃光的[

]

ansili · 2006-11-30

Application.ProcessMessages 肯定不行，我这个线程和界面是没有关系的。 加上sleep(1)这个CPU使用率是降低了，但是写文件的速度却慢了很多。 怎么可以写文件速度很快，且CPU消耗比较低(60%)。

ddzhouqian · 2006-11-30

我在想读和写各开一个线程，然后适当的加上sleep,是否会好些呢？

errorcode · 2006-11-30

作个缓存 FileWrite尽量少调用,将ABuffer先写入一个内存里,然后,堆积到一定数量再一次性写入文件. 这样试下. 还有,将文件的打开,关闭放到外循环中,也就是不是每次调用那函数你就打开关闭,浪费. 这两项做了还是CPU很高的话,你再将线程主循环调用发过来看看

ansili · 2006-12-01

To : errorcode 我保存文件是根据接收到的文件名去确定写到那个文件，所以就要现在这样的打开操作。 我现在按你说‘将文件的打开,关闭放到外循环中’来试试。 还有你说‘FileWrite尽量少调用’那我现在的方式应该用什么方法去写文件呢？用这个TFileStream？

ansili · 2006-12-01

To : errorcode 我现在按你说‘将文件的打开,关闭放到外循环中’还是消耗很高。 下面是我整个线程的代码： //********************************* //  处理请求的历史数据 //  Ansili 2006-10-10 //******************************** unit unitProcReceiveHistoryThread; interface uses  Classes, Windows, SysUtils, Contnrs, SyncObjs,  unitDataModule, unitGlobalStructure; type  ProcReceiveHistoryThread = class(TThread)  private    Port : Word;    DataPath : String;    { Request History Data }    RequestQueue    : TQueue;    RequestQueueEvent : TEvent;    RequestQueueSection : TCriticalSection;    SaveFileName : String;    SaveFileHandle : Integer;    SaveFileStream : TFileStream;        procedure FreeLocalVariant(Sender : TObject);    procedure proBuffer(const ALength : Integer; const ABuffer : PChar);    procedure proReceiveHisData(AMsgRecieveHisData: MyBodyReceiveHisData;              ABuffer : PChar;ALength : integer);    procedure proSaveHistoryFile(AMsgRecieveHisData: MyBodyReceiveHisData;              ABuffer : PChar;ALength : integer);  protected    procedure Execute; override;  public    constructor Create(ACreateSuspended: Boolean = True); virtual;    procedure SetRequestQueue(AQueue: TQueue);    procedure SetRequestQueueEvent(AQueueEvent: TEvent);    procedure SetRequestQueueSection(AQueueSection: TCriticalSection);    procedure SetPort(APort : Word);    function  GetThreadStatus : Boolean;  end; implementation uses unitGlobalSet; { ProcReceiveHistoryThread } constructor ProcReceiveHistoryThread.Create(ACreateSuspended: Boolean); begin  inherited Create(ACreateSuspended);  OnTerminate := FreeLocalVariant;  FreeOnTerminate := true;  SaveFileHandle := -1;  SaveFileStream := nil;  DataPath := GlobalWorkInfo.DataPath; end; procedure ProcReceiveHistoryThread.FreeLocalVariant(Sender: TObject); begin  if SaveFileStream <> nil then  begin    FreeAndNil(SaveFileStream);  end;  AppendLog('终止历史数据保存线程 ProcReceiveHistoryThread'); end; function ProcReceiveHistoryThread.GetThreadStatus: Boolean; begin  Result := Self.Terminated; end; procedure ProcReceiveHistoryThread.SetPort(APort: Word); begin  Port := APort; end; procedure ProcReceiveHistoryThread.SetRequestQueue(AQueue: TQueue); begin  RequestQueue := AQueue; end; procedure ProcReceiveHistoryThread.SetRequestQueueEvent(  AQueueEvent: TEvent); begin  RequestQueueEvent := AQueueEvent; end; procedure ProcReceiveHistoryThread.SetRequestQueueSection(  AQueueSection: TCriticalSection); begin  RequestQueueSection := AQueueSection; end; procedure ProcReceiveHistoryThread.Execute; var  DataBuf : TMyDataBuffer; begin  FreeOnTerminate := true;  while(not Terminated)do  begin    if(RequestQueue.Count <= 0) then    begin      RequestQueueEvent.ResetEvent;      RequestQueueEvent.WaitFor(INFINITE);    end    else    begin      DataBuf := nil;      RequestQueueSection.Enter;      try        DataBuf := TMyDataBuffer(RequestQueue.Pop);      except on Ex : Exception do        AppendLog(IntToStr(Port) + ': ProcReceiveHistoryThread Pop Queue Error : ' + Ex.Message);      end;      RequestQueueSection.Leave;      if DataBuf <> nil then      begin        try          proBuffer(DataBuf.BufferLength,DataBuf.BufferData);        except on Ex : Exception do          AppendLog(IntToStr(Port) + ': ProcReceiveHistoryThread DoBuffer Error : ' + Ex.Message);        end;        try          FreeAndNil(DataBuf);        except on Ex : Exception do          AppendLog(IntToStr(Port) + ': ProcReceiveHistoryThread,FreeAndNil(DataBuf) Error : ' + Ex.Message);        end;      end;    end;  end; end; procedure ProcReceiveHistoryThread.proBuffer(const ALength: Integer;  const ABuffer: PChar); var  i :  integer;  tmpLen, len : integer;  ErrorStr     : String;  DataFlag     : Cardinal;  MsgHeader    : MyMessageHeader;       //消息头  MsgRecieveHisData: MyBodyReceiveHisData;  //接收请求的历史数据  DataBuffer : PChar; begin  i := 0;  //指针位置  if i + SizeOf(Cardinal) > ALength then  begin    Exit;  end;  tmpLen := 0;  DataFlag := 0;  Move(ABuffer,DataFlag ,SizeOf(Cardinal));  if DataFlag <> MY_MESSAGE_FLAG then  //判断标志位  begin    Exit;  end;  i := i + SizeOf(Cardinal);  //读取消息头  if i + SizeOf(MyMessageHeader) > ALength then  begin    Exit;  end;  Move(ABuffer,MsgHeader,SizeOf(MyMessageHeader));  i := i + SizeOf(MyMessageHeader);  case MsgHeader.message_type of    204 : if (i + SizeOf(MyBodyReceiveHisData)) < ALength then          begin            Move(ABuffer,MsgRecieveHisData,SizeOf(MyBodyReceiveHisData));            i := i + SizeOf(MyBodyReceiveHisData);            len := MsgRecieveHisData.length;            if ((i + len) = ALength) and (len > 0) then            begin              try                DataBuffer := AllocMem(len);                try                  Move(ABuffer,DataBuffer[0],len);                  i := i + len;                  //proReceiveHisData(MsgRecieveHisData,DataBuffer,len);                  proSaveHistoryFile(MsgRecieveHisData,DataBuffer,len);                except on Ex : Exception do                  AppendLog(IntToStr (Port) + ': ProcReceiveHistoryThread,DoDataTransfer Error : ' + Ex.Message);                end;              finally                FreeMem(DataBuffer);              end;            end;          end;  end; end; procedure ProcReceiveHistoryThread.proReceiveHisData(  AMsgRecieveHisData: MyBodyReceiveHisData; ABuffer: PChar;  ALength: integer); var  filename : String;  FileHandle : Integer;  curLength : Cardinal;  msgRecvHisData : MyReceiveHistoryData; begin  filename := DataPath + AMsgRecieveHisData.file_name;  FillChar(msgRecvHisData,SizeOf(MyReceiveHistoryData),0);  if FileExists(filename) then  begin    try      FileHandle := FileOpen(filename,fmOpenReadWrite or fmShareDenyWrite);      FileRead(FileHandle,msgRecvHisData,SizeOf(MyReceiveHistoryData));      if msgRecvHisData.current_length < msgRecvHisData.total_length then      begin        msgRecvHisData.total_length := AMsgRecieveHisData.total_length;        msgRecvHisData.current_length := msgRecvHisData.current_length + SizeOf(Cardinal) + ALength;        curLength := FileSeek(FileHandle,0,0);        FileWrite(FileHandle,msgRecvHisData,SizeOf(MyReceiveHistoryData));        //写数据部分        curLength := FileSeek(FileHandle,0,2);        FileWrite(FileHandle,ALength,SizeOf(integer));        FileWrite(FileHandle,ABuffer[0],ALength);      end;    finally      FileClose(FileHandle);    end;  end; end; procedure ProcReceiveHistoryThread.proSaveHistoryFile(  AMsgRecieveHisData: MyBodyReceiveHisData; ABuffer: PChar;  ALength: integer); var  filename : String;  FileHandle : Integer;  curLength : Cardinal;  msgRecvHisData : MyReceiveHistoryData; begin  filename := DataPath + AMsgRecieveHisData.file_name;  if SaveFileName <> filename then  begin    if SaveFileStream <> nil then    begin      FreeAndNil(SaveFileStream);    end;    SaveFileName := DataPath + AMsgRecieveHisData.file_name;    SaveFileStream := TFileStream.Create(SaveFileName,fmOpenReadWrite or fmShareDenyWrite);  end;  FillChar(msgRecvHisData,SizeOf(MyReceiveHistoryData),0);  if FileExists(SaveFileName)and(SaveFileStream <> nil) then  begin    SaveFileStream.Position := 0;    SaveFileStream.ReadBuffer(msgRecvHisData,SizeOf(MyReceiveHistoryData));    if msgRecvHisData.current_length < msgRecvHisData.total_length then    begin      msgRecvHisData.total_length := AMsgRecieveHisData.total_length;      msgRecvHisData.current_length := msgRecvHisData.current_length + SizeOf(Cardinal) + ALength;      SaveFileStream.Position := 0;      SaveFileStream.WriteBuffer(msgRecvHisData,SizeOf(MyReceiveHistoryData));      //写数据部分      SaveFileStream.Position := SaveFileStream.Size;      SaveFileStream.WriteBuffer(ALength,SizeOf(integer));      SaveFileStream.WriteBuffer(ABuffer[0],ALength);    end;  end; end; end.

mmzmagic · 2006-12-01

看用在我的文件传输系统中的的缓冲写文件方式，多任务占用CUP不超过10%，100M局域网能达到13M~16M/S的速度。 接收文件的函数 =============================================================================== procedure TFileSvr.DoUpFileData(ClientThread: TDXClientThread); var  i: Integer;  lUserbuff: TUserSubTread;  Lbuff: RUpFileData;  Lidx: Integer;  LOpter: TFileItem;  LRecSize, LCurrRec, LTrueSize: Int64;  LRecBuff: Pointer; begin  LRecBuff := nil;  lUserbuff := TUserSubTread.Create;  lUserbuff.Conn := ClientThread;  ClientThread.fpSessionData := lUserbuff;  ClientThread.Socket.ReceiveBuf(Lbuff, Sizeof(Lbuff));  {用户线程开始上传}  lUserbuff.WriteRd := Lbuff;  Lidx := FileUoDMM.LockList.IndexOf(IntToStr(lbuff.FileID));  if Lidx < 0 then begin    Dec(tuser(ClientThread.fpSessionData).SubThreadCount);    Shower.AddShow('严重错误,未发现此文件任务文件ID%D', [lbuff.FileID]);    Exit;  end  else begin      {加入到FileItem的线程列表内}    TFileItem(FileUoDMM.PeekItem(Lidx)).FileOptList.AddObject(Format('%d_%d', [Lbuff.StartPos, Lbuff.EndPos]), lUserbuff);  end;  LOpter := TFileItem(FileUoDMM.PeekItem(Lidx));  LOpter.CheckTime := GetTickCount;  Shower.AddShow('开始发送数据文件ID:%D 起始:%d 到:%d', [Lbuff.FileID, Lbuff.StartPos, Lbuff.EndPos]);  if InRange(Lbuff.StartPos, 0, LOpter.fileSize) = False then begin    Shower.AddShow('上传的标示不在范围内', []);    {如果上传的标示不在范围内}    Dec(Tuser(ClientThread.fpSessionData).SubThreadCount);    ClientThread.fpSessionData := nil;    ClientThread.Socket.Disconnect;  end;  try    try      lUserbuff.ConnToFile(LOpter.FileName, fmOpenWrite);      LRecBuff := GetMemory(1024 * 8);      LRecSize := Lbuff.EndPos - Lbuff.StartPos; {总共要读取的大小}      LCurrRec := 0; {已经读取的大小}      LTrueSize := Min(1024 * 8, LRecSize - LCurrRec);      SetBuff(lUserbuff.PCurrRecvBUff, CMissonRecBuff + 1024 * 8);      while (LCurrRec < LRecSize) and (ClientThread.Socket.Connected) do begin        LTrueSize := ClientThread.Socket.ReceiveBuf(LRecBuff^, LTrueSize);        lUserbuff.PCurrRecvBUff^.Buff.WriteBuffer(LRecBuff^, LTrueSize);        inc(LCurrRec, LTrueSize);        inc(lUserbuff.CurrRecv, LTrueSize); {为了能让服务端检测到现在已经接收到的数据}        LTrueSize := Min(1024 * 8, LRecSize - LCurrRec);        {接满一个缓存后使用下一个如果下一个还在写则等待写完}        while lUserbuff.PCurrRecvBUff^.Buff.Position >= CMissonRecBuff do begin          {把写满的缓存标记为可写入让写入线程来写到文件内}          lUserbuff.PCurrRecvBUff^.UseSize := lUserbuff.PCurrRecvBUff^.Buff.Position;          lUserbuff.PCurrRecvBUff^.IsCanWrite := 2;          {如果写入指针为空则复值给它 }          if lUserbuff.PCurrWriteBuff = nil then            lUserbuff.PCurrWriteBuff := lUserbuff.PCurrRecvBUff;         {判断是否有可写的buff 有则继续接收否则就检查等待}          for i := low(lUserbuff.RecBuff) to High(lUserbuff.RecBuff) do begin // Iterate            if lUserbuff.RecBuff.IsCanWrite = 1 then begin              lUserbuff.PCurrRecvBUff := @lUserbuff.RecBuff;              Break;            end;          end; //for          {如果没有设置过缓冲则设置}          if lUserbuff.PCurrRecvBUff^.Buff.Size <> CMissonRecBuff + 1024 * 8 then            SetBuff(lUserbuff.PCurrRecvBUff, CMissonRecBuff + 1024 * 8);          {如果磁盘还在写入则等待}          if lUserbuff.PCurrRecvBUff^.Buff.Position >= CMissonRecBuff then            sleep(10);        end;      end; // while      Shower.AddShow('LCurrRec : %d LRecSize:%d ', [LCurrRec, LRecSize, BoolToStr(ClientThread.Socket.Connected)]);      if LCurrRec = LRecSize then begin        {正常结束的时候要把正在接收的BUFF标记为可写入磁盘}        lUserbuff.PCurrRecvBUff^.UseSize := lUserbuff.PCurrRecvBUff^.Buff.Position;        lUserbuff.PCurrRecvBUff^.IsCanWrite := 2;        LOpter.FinishAnThread(Lbuff);      end      else        LOpter.State := Excepts;    except      on e: Exception do        Shower.AddShow('接收数据时异常原因 :%s 将结束此用户上传的所有相关线程', [e.Message]);    end;  finally    Dec(Tuser(ClientThread.fpSessionData).SubThreadCount);    ClientThread.fpSessionData := nil;    FreeMem(LRecBuff);    Shower.AddShow('接收数据结束文件ID%D 起始:%d 到:%d ', [Lbuff.FileID, Lbuff.StartPos, Lbuff.EndPos]);    lUserbuff.IsFinish := True;  end; end;

errorcode · 2006-12-01

FileWrite减少调用可以减少资源调用 写文件是这样操作的：  FileWrite(Handle, S[1]{or P^}, Len); 但调用的频繁的话，CPU却很高，所以就有缓冲的说法： var  WriteBuf: PChar;    // 缓冲首地址  WriteBufLen, WriteBufVal: Integer;  // buflen是缓冲开辟的长度，bufval是已使用长度  init:   WriteBufLen := 1024000; // 1M 看情况定，长度一般可以是：> 你的数据包大小* 100   WriteBuf := allocMem(WriteBufLen);   WriteBufVal := 0; write to buf:   procedure WriteToBuffer(AData: PChar; ALen: Integer);   begin     if (ALen + WriteBufVal > WriteBufLen) or (ALen <= 0) then     begin        FileWrite(Handle, WriteBuf^, AWriteBufVal);        AWriteBufVal := 0;        if ALen <= 0 then Exit;     end;     Move(AData^, (WriteBuf + WriteBufVal)^, ALen);     Inc(WriteBufVal, ALen);     end; free:  FreeMem(WriteBuf); 这样，有上面几个操作后，你只要调用WriteToBuffer即可达到写文件作用，如果线程需要退出，你再调用一次: WriteToBuffer(nil, 0);即可将已写入的缓冲写入文件。 这个就是减少写文件FileWrite的调用了。 FileOpen, FileClose也是减少损耗的，所以一般都是放在Exeucte中外循环: procedure TmyThread.Execute; begin  Handle := FileOpen(FileName, fmCreate or fmOpenReadWrite);  if Handle = INVALID_HANDLE_VALUE then      Error(...)  try    while not Terminated do      begin      ...    end;  finally    CloseHandle(Handle);  end; end;

errorcode · 2006-12-01

分配，释放内存也是占资源的，你写个结构，直接转换，不要Move来来去去的 type  PData = ^TData;  TData = packed record    DataFlag: Cardinal;    MsgHdr: MyMessageHeader;    case Integer of      0: (        RecvHisData: MyBodyReceiveHisData;        RecvData: array [0..0] of Char;         );      1: (         // 其它类型         );  end; procedure ProcReceiveHistoryThread.proBuffer(const ALength: Integer;  const ABuffer: PChar); var  Data: PData; begin  Data := Pointer(ABuffer);  if ALength < SizeOf(TData) then Exit;    if Data^.DataFlag = MY_MESSAGE_FLAG then Exit;  case Data^.MsgHdr.message_type of    204:      proSaveHistoryFile(Data^.RecvHisData, Data^.RecvData, Data^.RecvHisData.Length);  end;   end;

ansili · 2006-12-04

谢谢各位！ 我先试试。

cjwdone · 2006-12-05

其实可以通过使用filemap的方法，应为他是一个相当底层的函数，速度自然不是问题，就是要注意一定要把要写的内容寄存到一定数量再调用这个函数，有点占内存，但是应该不成问题，还有就是看boradview系列的书中提到，如果是p3，p4处理器，就把寄存的要写的数量控制到16的倍数是有很好的效果的。再有就是不要像上面提到的那样随便挪动指针，否则会打破高速缓存上的内容的，最后只会适得其反，而如果有意调整指针使期数据对齐的话，速度可是成倍增长的！

火山 · 2006-12-06

硬件IO操作，还是改用CreateFile,WriteFile,ReadFile的异步方式吧。

abszo · 2006-12-06

while not terminated do begin  if 有数据 then    处理  else    sleep(1); end; 你看看你的代码有没有这么做？如果你按这个格式做，则CPU消耗一点点，不影响速度。

为什么我写文件的时候CPU占用率达100%，请大家帮我看看（附源码）。(50分)

ansili

Unregistered / Unconfirmed

peizmbj

Unregistered / Unconfirmed

cjwdone

Unregistered / Unconfirmed

ansili

Unregistered / Unconfirmed

ddzhouqian

Unregistered / Unconfirmed

errorcode

Unregistered / Unconfirmed

ansili

Unregistered / Unconfirmed

ansili

Unregistered / Unconfirmed

mmzmagic

Unregistered / Unconfirmed

errorcode

Unregistered / Unconfirmed

errorcode

Unregistered / Unconfirmed

ansili

Unregistered / Unconfirmed

cjwdone

Unregistered / Unconfirmed

火山

Unregistered / Unconfirmed

abszo

Unregistered / Unconfirmed

Similar threads