Надо ли изучать что-то дополнительное в ходе занятий на вашем начальном курсе с нуля? Например, книги по алгоритмам?

Я обязательно всё что нужно подскажу, как закончите начальный курс, а пока что-то пытаться читать без приоритетов, где перемешаны важные и второстепенные главы, это только сильно путать себе голову.
Дополнительная литература вам станет актуальной, когда вы прежде всего выработаете минимально уверенный навык программирования, программистский problem solving. Для этого надо успешно пройти хотя бы следующий курс 28 задачек.
Пока лучше сосредоточьтесь полностью на продуктивном решении задач с базового курса :) Зачем вам разбрасываться? Учитесь наоборот концентрироваться.

Разбирательство по алгоритмам вам станет актуальным, когда вы научитесь минимально стабильно программировать.
Пока алгоритмы будут только путать. Классические книги тут это Кнут "Искусство программирования" прежде всего, вы в нём пока ничего не поймёте.
По алгоритмам у меня отдельный цикл курсов, ключевая практика в программировании перед началом движения "на работу".