Предварительная загрузка изображений нужна? Как вы поступаете в данном случае?
Например, есть меню, на нем есть фон изображением (css --- background), если навести на пункт меню мышку, то фон соответственно меняется. Но может возникнуть задержка, т.е. мы сначала увидим не тот background, который отображается при наведении, а фон (аналог в css --- color).

Вы что-нибудь делаете, чтобы избежать подобного эффекта или это не так существенно и на это не стоит обращать особое внимание?

Мне известны способы:
-- сделать блок, который не видно( в него можно загружать изображения )
-- написать скрипт который подгружает картинки заранее
-- объединение скажем двух изображений в одно и показ в браузере с последующим частичным показом ( это мой самый любимый способ )

Я так понял, что таким заниматься стоит, чтобы не происходило эффекта недоработанной страницы или это не так важно на настоящий момент и вообще не нужно?

Можно делать как угодно, лишь-бы решало задачу, но в принципе, если картинка маленькая то -

т.к. скорости растут, и все такое.
А вот в других случаях, надо смотреть по месту.