| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
OlegFB
Участник - экстремал
Вступление в Клуб: 11.07.2007
|
 Ср Дек 07, 2016 11:30 |
 |
Полезность: Нет оценки
|
| yaffil пишет: | | OlegFB пишет: |
Угу. Именно такое решение мне и ЦФТ-шники предложили. |
Прогрузили ФИАС ? Сколько времени ушло?
У мну на тесте вообще Опа,
1) первые 3е суток грузил вылетела проблема с длинной. Пофиксил во временной - запустил уже сразу 2й этап (ИМПОРТ),
2) спустя ещё 2е суток получил
ORA-01555: слишком старый снимок: сегмент отката номер 23 по имени "_SYSSMU23_4285875587$" слишком мал
3) увеличил alter system set undo_retention=7200 (было 900) - запустил по новой с Импорта - в течении часа свалилась из за констрейнтов т.к. такие ИД уже есть 
Т.е. всё базе каюк? А на бою если оступился - то труп? Сапёр ошибается только дважды 
Как корректно закончить/почистить импорт предыдущий? |
Перед полным импортом нужно выполнить нормализацию справочника.
7 Нормализация адресных справочников
Режим: "Банковские продукты" → "Нормализация данных (служебный)"
Операции: "Адрес. Нормализация адресных справочников"
см. доку...
У меня импорт занимает несколько часов ночью в 14 потоков |
|
 |
yaffil
Профи
Вступление в Клуб: 18.08.2011
|
| Ср Дек 07, 2016 11:40 |
|
Полезность: Нет оценки
|
Да это всё проделал. Несколько часов с начала до конца? 
Можете для примера пару хар-к сервака? Процессор, Оперативка, память? Чтобы понять дело в серваке или настройках оракла.
А то ЦФТшники нам втюкали эти серваки за немало денег, а ФИАС загружается почти неделю. |
|
|
OlegFB
Участник - экстремал
Вступление в Клуб: 11.07.2007
|
| Чт Дек 08, 2016 07:44 |
|
Полезность: 1
|
| yaffil пишет: | Да это всё проделал. Несколько часов с начала до конца?
Можете для примера пару хар-к сервака? Процессор, Оперативка, память? Чтобы понять дело в серваке или настройках оракла.
А то ЦФТшники нам втюкали эти серваки за немало денег, а ФИАС загружается почти неделю. |
Я не участвовал в выборе железа. Но шеф говорит, что те сервера, которые нам предложили ЦФТ-шники были слабее самого слабого сервера из имеющихся в банке. Поэтому он отказался их брать и купил у наших поставщиков то, что посчитал более подходящим. Банк у нас небольшой, денег на ИТ нет, так что это явно не супер-сервер.
2 10-ядерных процессора 2.3Гц, 96Гб RAM, база лежит на СХД на SSD-дисках (22 000 iops)
Вчера запустил полный импорт (справочник от 28/11/2016) в рабочее время, поэтому только в 6 потоков (всего под оракл отдано 14 ядер)
Импорт данных во временные таблицы занял 5ч. 40 мин.
Если пускать на ночь во все 14 потоков, то всё будет быстрее в два раза (с хвостиком)
Импорт из временных таблиц занял всего 25 минут в 4-е потока, соответственно в 14-ть потоков влетит всё за 8 минут
Вот голова и хвост лога загрузки во временные таблицы:
| Код: |
17:41:41 Начало импорта справочника ФИАС - полная БД ФИАС
17:41:50 [06/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
[05/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
Загрузка типов адресных объектов из файла "SOCRBASE.DBF"...
Завершена загрузка адресообразующих объектов. Загружено записей: 391
Загрузка признаков владений из файла "ESTSTAT.DBF"...
Загрузка признаков строений из файла "STRSTAT.DBF"...
Завершена загрузка признаков владений. Загружено записей: 5
Завершена загрузка признаков строений. Загружено записей: 5
[01/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
17:41:50 [04/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
[02/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
[03/06] Загрузка адресообразующих объектов из файла "ADDROBJ.DBF"...
...
23:20:36 [01/06] Загружен файл интервалов домов "HOUSEINT.DBF. Загружено записей: 787
[01/06] Время загрузки файлов домов : 18313.14(сек)
[01/06] Загрузка объектов для удаления из файла "DADDROBJ.DBF"...
[01/06] Загружен файл объектов для удаления "DADDROBJ.DBF. Загружено записей: 154
[01/06] Загрузка объектов для удаления из файла "DHOUSE.DBF"...
[01/06] Загружен файл объектов для удаления "DHOUSE.DBF. Загружено записей: 131
[01/06] Загрузка объектов для удаления из файла "DHOUSINT.DBF"...
[01/06] Загружен файл объектов для удаления "DHOUSINT.DBF. Загружено записей: 0
[01/06] Время загрузки объектов для удаления : 0.40(сек)
[01/06] Загрузка завершена
Выполнение операции завершено.
|
Вот голова и хвост лога импорта из временных таблиц:
| Код: |
08:55:44 Начало импорта справочника ФИАС - полная БД ФИАС от 28/11/2016
08:55:53 Сбор статистики для структуры "Адрес. Импорт адресных данных ФИАС" (FIAS_ADDR_IMP)...
08:56:09 Сбор статистики для структуры "Адрес. Импорт данных домов ФИАС" (FIAS_HOUSE_IMP)...
08:59:30 Импорт типов адресных объектов...
Загружен кэш справочника "Адрес. Типы адресных объектов"
...
[02/04] Добавление домов для региона 91
09:20:14 [02/04] Добавлено записей: 80 для региона 91
|
|
|
|
OlegFB
Участник - экстремал
Вступление в Клуб: 11.07.2007
|
| Чт Дек 08, 2016 08:22 |
|
Полезность: Нет оценки
|
| 2 минуты ушло на импорт дельты за 01/12/2016 |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
|
|
О проекте
Поиск
Отзывы
Регистрация
Вход
