几天里，他们在西岸并没有找到他们想找的人，便决定把船拴在慈悲河的发源处，步行到南边去搜索。然而，他们一路上连个人的脚印都没找到，却在一条小溪旁的森林里，意外地发现了几个月前他们逃出来时所用的那只气球。气球上的布可以做衣服和帆，他们高兴地叫了起来，暂时把它安置在一个安全的地方，决定以后在慈悲河上架一座桥，再把它运回去。
他们返回慈悲河，上船向“花岗石宫”驶去。当他们临近“花岗石宫”时，托普狂吠了起来。原来是一群猴子趁他们不在时，从梯子上爬进“石宫”里，占据了他们的屋子。于是，他们和猴子展开了一场房屋争夺战。在枪弹的扫射下，猴子死的死，伤的伤，逃的逃。几小时后，他们又夺回了“花岗石宫”。在“石宫”的走廊里，他们抓到了一只没逃掉的猴子。他们称它为杰普，让它留在“石宫”里，充当他们的仆人。
回“石宫”后，史密斯和大家一起，成功地利用岛上的“三宝”——动物、植物、矿藏，加强了荒岛生活的建设。他们先用了三个星期在慈悲河上架起一座桥，从而把气球运了回来；接着用植物焚烧后的灰烬里取得的小苏打和钾碱，把气球的布料洗干净，大家各做了一套衣服和睡觉用的被单。史密斯又就地取材，制造了一批棉花火药。他们还开拓了一片土地，把从野外采来的菠菜、水芹、萝卜和芜菁等，在土地上栽培起来。