Обходчик сайта / паук, который бросает результаты в MySQL

Было предложено использовать mysql для поиска по нашему сайту, так как он будет работать на том же сервере, на котором размещен наш веб-сервер (nginx) и наш db (mysql).

Так как не все наши страницы созданы из базы данных, было предложено, чтобы у нас был сканер, который может сканировать сайт, а также поместить URL страницы и данные в mysql и иметь индекс sphinx для этого.

Кто-нибудь знает о пауке с открытым исходным кодом, который имеет опцию хранения MySQL из коробки.

Благодарю.