<br><br><div class="gmail_quote">On Fri, Jul 27, 2012 at 7:20 AM, Florin Iucha <span dir="ltr"><<a href="mailto:florin@iucha.net" target="_blank">florin@iucha.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On Thu, Jul 26, 2012 at 11:44:05PM -0500, Robert Nesius wrote:<br>
> With iSCSI, where is the filesystem management overhead?Is the<br>
> filesystem overhead is on the client side with the server just receiving<br>
> low-level I/O operations that go straight to disk, whereas with CIFS the<br>
> server is having to handle mapping the I/O from the filesystem layer<br>
> through to hardware layer, causing it to be slower on it's responses<br>
> (ACKS)?  I've never worked with it myself... just curious.<br>
<br>
Yes, that's how it works.  However, I am measuring the performance of<br>
the system composed of the two machines (plus the switch) and iSCSI<br>
shows twice the performance of CIFS.  Somebody has to do the<br>
filesystem dirty work, be it on the client or on the server.<br>
<br>
I could see where you have a workload that you spread across two<br>
sub-systems and if one of them reaches capacity, that limits the<br>
throughput of the entire system (some variation of Amdahl's law).<br></blockquote><div><br></div><div><br></div><div>I think there is more post-processing on the server side and that's going to slow down server responses and that's going to push back upstream and cause writes to wait.  </div>
<div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
But both boxes are very powerful (3.3GHz 6-core for workstation,<br>
2.8GHz 4-core for server) and completely idle that neither is the<br>
bottleneck.  I'm writing a 11GB file, and the server has 16GB of RAM.<br></blockquote><div><br></div><div>If they are idle then that suggests to me they are blocking for I/O (waiting).  </div><div>Your drive lights are lit up pretty solidly yeah?  </div>
<div><br></div><div>Are you writing to a RAM DISK? </div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The CIFS results were so bad, I was concerned there was a problem with<br>

the hardware.  It just occurred me two days ago that I could flip things<br>
around, use iSCSI and test the system performance in a different way.<br></blockquote><div><br></div><div>I'm thinking of ways to test my hypothesis.  I'm not sure changing the size of the TCP window on the cifs server will have an impact if the CIFS client is blocking and waiting for a response to a write. </div>
<div><br></div><div>Maybe watch each of your tests with wireshark and watch latencies? </div><div><br></div><div>-Rob</div></div>