<p dir="ltr">Does anyone know if I can "stack" and (later) "unstack" vdevs from a ZFS pool?  </p>
<p dir="ltr">(Apropos my last message, this question would be germane to ZFS on Linux as well as on BSD, FreeNAS, et al. )</p>
<p dir="ltr">I think that it is true that one cannot remove a vdev from a ZFS pool. (If that's wrong, please correct me and the rest is irrelevant. )</p>
<p dir="ltr">Any pool (similar to LVM on Linux) that is larger than the space of a single drive must contain multiple vdevs. For redundancy, a vdev is often ( but not necessarily) more than a single drive; a vdev can be two or three mirrored drives or 3+ drives in RAIDZn. </p>
<p dir="ltr">So, if one has a RAIDZ1 set of 2T drives, one would have 4T of usable space. To go to 6T of usable space, one would fail and replace each 2T drive with a 3T drive. When the last drive is replaced, the space would expand to 6T. </p>
<p dir="ltr">My concern is the limited drives that can fit in a case. Say that I can have up to 8 drives. I could use 4 pairs of 2T drives, each pair being a vdev. When I start upgrading to 3 or 4T drives, I've still got to have 4 vdevs in my pool.</p>
<p dir="ltr">Would it be possible to have the drives set so that I have each pair of drives (striped) make up a vdev and then create a vdev made up of a mirrored pair of those striped pairs and then make the pool up of that mirrored pair of vdevs?  (In this way, there would only be 2 vdevs at the pool level, rather than 4. )<br><br></p>
<p dir="ltr">The point is that, when I go from 2T drives to 4T drives, I can replace a striped pair of 2Ts with a single 4T drive (i.e. a vdev with a single member). Thus, after replacing all 2s with 4s, lets my pool will still have a pair of (mirrored) vdevs. And that, in turn, then lets me add additional drives to the box (and space to the pool) by adding 4 more drives (each being a part of a mirrored pair, making up 2 more vdevs which get added to the original 2 vdevs in the pool). <br>
But the cool thing is that I'd get the benefit of the upgrade without having to replace every drive; I'd see more space in the pool as soon as I start adding the third vdev (either as the 9th and 10th devices, or after replacing 4 of the 2s with (4) 4T drives). <br></p>
<p dir="ltr">What happens when I go from 4T drives to 8T drives across the board is too far in the future to worry about now. I have a bunch of 2s and have started buying 4s, so thinking about how to handle that upgrade as the 2s age & fail is on my mind. </p>
<p dir="ltr">Advice and comments appreciated. </p>
<p dir="ltr">Thanks<br>
Thomas  </p>