親権の無い側が子供と暮らすことはできる？

結論から言えば、できるということになりますが、そのためには高いハードルを越えなくてはなりません。

まず、離婚時に親権者と監護者を別にして、監護者が子供と暮らす方法が考えられます。
しかし、何のためにそうするのかという、納得できる理由は確実に必要でしょう。
子供の立場では、親権者と監護者が違うことに、何かメリットがあるかというと、逆にデメリットが大きくなります。
協議の上で、親権と監護権を分けるのは構わないですが、家庭裁判所が介在すると難しいはずです。

また、離婚後に監護者を変更する方法もあるとはいえ、子供の生活環境が変わることは大きな影響を与えます。
こちらも、元夫婦の協議の上で決めるのは構いませんが、争いがあって家庭裁判所が介在すると難しくなります。

なお、監護者ではなく、親権者も一緒に変更するとなると、元夫婦の協議があっても自由に行えず、親権者の変更は、家庭裁判所の許可が無くてはできません。