Use the chain rule:
d/dx sec^3(sqrt(cosx)) = d/(du) u^3 * d/(dy) sec y * d/(dt) sqrt(t) d/dx cosx
where:
u= sec(sqrt(cosx))
y= sqrt(cosx)
t = cosx
so:
d/dx sec^3(sqrt(cosx)) = 3u^2 * secy tany * 1/(2sqrt(t)) * (-sinx)
d/dx sec^3(sqrt(cosx)) = 3sec^2(sqrt(cosx)) * sec(sqrt(cosx)) tan (sqrt(cosx)) * 1/(2sqrt(cosx)) * (-sinx)
d/dx sec^3(sqrt(cosx)) = -(3sinxsec^3(sqrt(cosx)) tan (sqrt(cosx)) )/(2sqrt(cosx))