Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
Матвеев Евгений Профи
Вступление в Клуб: 31.01.2012
|
Пт Июн 05, 2015 17:38   |
|
Полезность: Нет оценки
|
В итоге с N - ой попытки ФИАС загружен
Версия схемы 15.1.15
ФИАС убрал дубли из 50 региона с 77, установкой END_DATE прошлой датой
Тестовый сервер 8 core, грузилось в 8 потоков
Время полной загрузки ~ 10 часов
12:42:29 Начало импорта справочника ФИАС - полная БД ФИАС
22:15:33 Выполнение операции завершено.
Большое количество повторных загрузок из за нехватки места
Как то так |
|
 |
nobel Профи
Вступление в Клуб: 28.09.2011
|
Чт Июн 11, 2015 13:48   |
|
Полезность: Нет оценки
|
Как раньше писал по этому поводу так у нас и получилось.
Закачали во временные таблицы ЦФТ ФИАС.Оттыду админ перегнал на боевую схему во временные таблицы ЦФТ(их около 5-6 таблиц всего) и на боевой схеме запустили обработку(в рабочее время).В два потока запускали и заняло по времени меньше 4 часов.
Только обнаружился один косяк-дублирование городов.Например город Самара 2 и более записи.Есть одна запись с заполненным КЛАДР и пустым ФИАС,несколько от БИКов и 1 и более от ФИАС.И что странного все записи как раз подвязаны к населенному пункту с КЛАДР но без ФИАС и стоит признак что "устаревший" и без нового наименования.Когда смотришь в клиенте и данный город город красным.Тут либо свою функцию писать по переброске ссылок либо ручками перебрасывать.
У меня еще возник вопрос-кто как решает проблему с подгрузкой БИКов(в части появления "новых" адресов оттуда-например наподобие ЧЕЛЯБИНСК 40)? |
|
 |
egor_spb Участник - экстремал
Вступление в Клуб: 28.09.2007
|
Пн Июн 15, 2015 09:02   |
|
Полезность: Нет оценки
|
Матвеев Евгений пишет: | В итоге с N - ой попытки ФИАС загружен
Версия схемы 15.1.15
ФИАС убрал дубли из 50 региона с 77, установкой END_DATE прошлой датой
Тестовый сервер 8 core, грузилось в 8 потоков
Время полной загрузки ~ 10 часов
12:42:29 Начало импорта справочника ФИАС - полная БД ФИАС
22:15:33 Выполнение операции завершено.
Большое количество повторных загрузок из за нехватки места
Как то так |
На выходных в 2 стадии загрузил ФИАС на рабочей базе.
Сервер с двумя четырехядерными Xeon-ами. Грузил ночами в 6 потоков.
Первая стадия 9 часов, вторая - почти 13 часов. Работать при
этом было практически невозможно. Сейчас пытаюсь проверить корректность загрузки. |
|
 |
Матвеев Евгений Профи
Вступление в Клуб: 31.01.2012
|
Вт Июн 16, 2015 08:20   |
|
Полезность: Нет оценки
|
egor_spb пишет: | Матвеев Евгений пишет: | В итоге с N - ой попытки ФИАС загружен
Версия схемы 15.1.15
ФИАС убрал дубли из 50 региона с 77, установкой END_DATE прошлой датой
Тестовый сервер 8 core, грузилось в 8 потоков
Время полной загрузки ~ 10 часов
12:42:29 Начало импорта справочника ФИАС - полная БД ФИАС
22:15:33 Выполнение операции завершено.
Большое количество повторных загрузок из за нехватки места
Как то так |
На выходных в 2 стадии загрузил ФИАС на рабочей базе.
Сервер с двумя четырехядерными Xeon-ами. Грузил ночами в 6 потоков.
Первая стадия 9 часов, вторая - почти 13 часов. Работать при
этом было практически невозможно. Сейчас пытаюсь проверить корректность загрузки. |
Егор, какова методика проверки корректности загрузки?
(кроме чтения логов) |
|
 |
Матвеев Евгений Профи
Вступление в Клуб: 31.01.2012
|
Вт Июн 16, 2015 08:25   |
|
Полезность: Нет оценки
|
Судя по логам у Вас пропущены дубли по 77 региону по отношению к 50 региону
Я так полагаю речь может идти о "Новой Москве"
Поэтому мы исключили дубли не из 77, а из 50
Обратите на это внимание
07:03:31 [03/06] Загружен файл домов "HOUSE67.DBF. Загружено записей: 23897
[03/06] Загрузка домов из файла "HOUSE68.DBF"...
[02/06] Загружен файл домов "HOUSE77.DBF. Загружено записей: 30139, пропущено: 5442
[02/06] Загрузка домов из файла "HOUSE78.DBF"... |
|
 |
egor_spb Участник - экстремал
Вступление в Клуб: 28.09.2007
|
Вт Июн 16, 2015 17:46   |
|
Полезность: Нет оценки
|
Матвеев Евгений пишет: | Судя по логам у Вас пропущены дубли по 77 региону по отношению к 50 региону
Я так полагаю речь может идти о "Новой Москве"
Поэтому мы исключили дубли не из 77, а из 50
Обратите на это внимание
07:03:31 [03/06] Загружен файл домов "HOUSE67.DBF. Загружено записей: 23897
[03/06] Загрузка домов из файла "HOUSE68.DBF"...
[02/06] Загружен файл домов "HOUSE77.DBF. Загружено записей: 30139, пропущено: 5442
[02/06] Загрузка домов из файла "HOUSE78.DBF"... |
Да, пропуски домов в порядке обработки, т.е. у вас более правильное отнесение домов к регионам. Но для Питера это не очень критично....
Проверяю улицы, не привязанные к населенным пунктам, количество объектов без кода ФИАС и т.п. |
|
 |
Матвеев Евгений Профи
Вступление в Клуб: 31.01.2012
|
Пн Июн 22, 2015 09:27   |
|
Полезность: Нет оценки
|
yaffil пишет: | Конкретно в 78м ничего не пересекается видимо всё плохо и где то в одном из 95 других файлах пересеклось.
Есть счастливчики, кто на ФИАС перешел с полным импортом? |
Я перешел с полным импортом(рабочая схем, а полная загрузка заняла 6 часов в 16 потоков - заполнение временных + из временных в рабочие + сопоставить с ОКАТО) |
|
 |
Pupil Участник - экстремал
Вступление в Клуб: 27.02.2014
|
Пт Окт 09, 2015 15:41   |
|
Полезность: Нет оценки
|
Добрый день, скажите а если была ранее установлена база данных ФИАС полная, но от какого числа по дате файла не определишь точно, в документации сказано что после полной БД необходимо последовательно ставить обновления, так вот не могу определить от какого числа ставить обновления  |
|
 |
Матвеев Евгений Профи
Вступление в Клуб: 31.01.2012
|
Пт Окт 09, 2015 15:59   |
|
Полезность: Нет оценки
|
В файле fias_DBF.Rar есть метка времени
Мне кажется что только так. .. |
|
 |
Pupil Участник - экстремал
Вступление в Клуб: 27.02.2014
|
Пн Окт 12, 2015 09:24   |
|
Полезность: Нет оценки
|
На тестовой пытался импортить база данных ФИАС полную, в 2 шага: импорт во временные таблицы
Загрузка из временных таблиц
В итоге обломилось на втором шаге, делал на тестовой(LOG и ошибка во вложении)
Версия 15.3.14 |
|
 |
Матвеев Евгений Профи
Вступление в Клуб: 31.01.2012
|
Пн Окт 12, 2015 14:33   |
|
Полезность: Нет оценки
|
Pupil пишет: | На тестовой пытался импортить база данных ФИАС полную, в 2 шага: импорт во временные таблицы
Загрузка из временных таблиц
В итоге обломилось на втором шаге, делал на тестовой(LOG и ошибка во вложении)
Версия 15.3.14 |
Была такая же ерунда, с двойными записями боролся с помощью Visual Fox Pro и поля enddate |
|
 |
Pupil Участник - экстремал
Вступление в Клуб: 27.02.2014
|
Вт Окт 13, 2015 10:54   |
|
Полезность: Нет оценки
|
Это ваще темный лес, странно почему элементарно дистрибутивно не работает, все время какие то ошибки, сейчас посмотрел Историю изменения в версии 15.5 какие-то изменения внесли надо протестить будет. |
|
 |
Pupil Участник - экстремал
Вступление в Клуб: 27.02.2014
|
Пн Окт 26, 2015 10:04   |
|
Полезность: Нет оценки
|
Из ЦФТ ответ
Добрый день!
Предположительно, у Вас есть записи в адресном справочнике с одинаковым AOID.
Выполните операцию "Банковские продукты" → "Нормализация данных (служебный)" → "Адрес. Нормализация адресных справочников" с установленным признаком "неуникальные по глобальному идентификатору" и
после этого выполните импорт полного ФИАС повторно.
Проверил импортнулся. |
|
 |
SlyFly Участник
Вступление в Клуб: 06.07.2016
|
Ср Июл 06, 2016 05:17   |
|
Полезность: Нет оценки
|
Добрый день!
Коллеги у нас не было до сих пор перехода с КЛАДР на ФИАС, сейчас поставили такую задачу. Может у кого-то сохранилась документация по переходу???? |
|
 |
yaffil Профи
Вступление в Клуб: 18.08.2011
|
Ср Июл 06, 2016 17:35   |
|
Полезность: Нет оценки
|
Глава 1-02-10 (Основы учетного ядра Хранение Адресов).pdf
5.1 Выполнение первого импорта классификатора ФИАС |
|
 |
|