Деиндексация через API поисковиков: для разработчиков

В современном мире интернет-технологий управление информацией о себе или своей компании становится критически важным аспектом цифровой репутации. Одним из эффективных инструментов контроля над этой информацией является деиндексация — процесс удаления ссылок из поисковых систем. Для разработчиков и технических специалистов особый интерес представляет автоматизация этого процесса через программные интерфейсы (API) ведущих поисковых систем. В этой статье мы приведем примеры и дадим скрипты удаления, которые помогут упростить и ускорить процесс деиндексации.

Что такое деиндексация и почему она важна

Деиндексация — это процесс удаления ссылки из поисковых систем, таких как Яндекс и Google. В результате успешной деиндексации ссылку невозможно будет найти через поисковый запрос, даже если сама страница продолжает существовать в интернете.

Важность деиндексации трудно переоценить в следующих случаях:

Необходимость удаления устаревшей или неактуальной информации
Защита репутации компании или частного лица
Удаление конфиденциальных данных, попавших в публичный доступ
Борьба с распространением недостоверной информации

По официальной статистике, стандартный процесс деиндексации через обычные формы запросов имеет эффективность около 30%. Однако при использовании специализированных подходов, включающих программные методы через API, этот показатель может достигать 95%.

API для деиндексации в Google

Google предоставляет разработчикам доступ к Indexing API — инструменту, который изначально создавался для ускорения индексации, но может быть использован и для обратного процесса.

Настройка доступа к Google Indexing API

Для начала работы с API необходимо выполнить следующие шаги:

Создать проект в Google Cloud Console
Включить Indexing API в настройках проекта
Настроить доступ и получить API-ключ
Подключить Indexing API к вашему сайту или приложению

Пример кода для работы с Google Indexing API

Ниже представлен пример Python-скрипта для отправки запроса на деиндексацию:

«`python
import json
import requests
from google.oauth2 import service_account
from googleapiclient.discovery import build

# Путь к файлу с учетными данными сервисного аккаунта
SERVICE_ACCOUNT_FILE = ‘path/to/service_account.json’

# URL, который нужно деиндексировать
URL_TO_REMOVE = ‘https://example.com/page-to-remove’

# Аутентификация
credentials = service_account.Credentials.from_service_account_file(
SERVICE_ACCOUNT_FILE,
scopes=[‘https://www.googleapis.com/auth/indexing’]
)

# Создание сервиса
service = build(‘indexing’, ‘v3’, credentials=credentials)

# Отправка запроса на удаление URL из индекса
def remove_url_from_index(url):
content = {
‘url’: url,
‘type’: ‘URL_DELETED’
}

response = service.urlNotifications().publish(
body=content
).execute()

return response

# Выполнение деиндексации
result = remove_url_from_index(URL_TO_REMOVE)
print(f»Результат деиндексации: {json.dumps(result, indent=2)}»)
«`

Лимиты и ограничения Google Indexing API

При работе с API Google важно учитывать следующие ограничения:

Бесплатный уровень доступа позволяет отправлять до 200 запросов в день
Премиум-уровни предоставляют более высокие лимиты в соответствии с тарифным планом
API работает только с URL, которые принадлежат вашему верифицированному домену в Google Search Console

Деиндексация через Яндекс IndexNow

Яндекс использует протокол IndexNow для управления индексацией. Хотя этот протокол изначально создан для ускорения индексации, его можно адаптировать и для деиндексации контента.

Настройка доступа к Яндекс IndexNow

Для работы с IndexNow необходимо:

Сгенерировать уникальный ключ API для вашего сайта
Разместить этот ключ на вашем сервере в виде текстового файла
Настроить отправку запросов на специальный адрес API

Пример реализации для Яндекс IndexNow

«`python
import requests
import json

# Параметры для работы с IndexNow
HOST = ‘yourdomain.cc’
API_KEY = ‘be7dc003835e410797c70ed0ee62930d’
KEY_LOCATION = f’https://{HOST}/{API_KEY}.txt’

# URL для деиндексации
URL_TO_REMOVE = f’https://{HOST}/page-to-remove’

# Формирование запроса
def send_indexnow_request(url_to_remove):
endpoint = ‘https://yandex.com/indexnow’

payload = {
‘host’: HOST,
‘key’: API_KEY,
‘keyLocation’: KEY_LOCATION,
‘urlList’: [url_to_remove]
}

headers = {
‘Content-Type’: ‘application/json’
}

response = requests.post(
endpoint,
data=json.dumps(payload),
headers=headers
)

return response.json()

# Выполнение запроса
result = send_indexnow_request(URL_TO_REMOVE)
print(f»Результат запроса: {result}»)
«`

Особенности работы с Яндекс API

При работе с API Яндекса следует учитывать:

Можно отправить до 10 000 URL, относящихся к одному домену, за один запрос
Запросы с большим количеством URL будут обрезаны до максимально допустимого количества
Ключ API должен быть доступен по указанному в запросе адресу

Автоматизация процесса деиндексации

Для эффективной работы с большими объемами данных рекомендуется автоматизировать процесс деиндексации.

Создание системы мониторинга и автоматической деиндексации

Комплексное решение может включать:

Систему мониторинга появления нежелательного контента
Автоматическое формирование списков URL для деиндексации
Регулярную отправку запросов через API с учетом лимитов
Отслеживание статуса деиндексации и повторную отправку запросов при необходимости

Пример скрипта для массовой деиндексации

«`python
import csv
import time
import logging
from google.oauth2 import service_account
from googleapiclient.discovery import build
import requests
import json

# Настройка логирования
logging.basicConfig(
level=logging.INFO,
format=’%(asctime)s — %(levelname)s — %(message)s’,
filename=’deindexation.log’
)

# Конфигурация
GOOGLE_SERVICE_ACCOUNT_FILE = ‘path/to/service_account.json’
YANDEX_HOST = ‘yourdomain.cc’
YANDEX_API_KEY = ‘your_api_key’
YANDEX_KEY_LOCATION = f’https://{YANDEX_HOST}/{YANDEX_API_KEY}.txt’
URLS_FILE = ‘urls_to_deindex.csv’
DELAY_BETWEEN_REQUESTS = 5 # секунды

# Инициализация Google API
google_credentials = service_account.Credentials.from_service_account_file(
GOOGLE_SERVICE_ACCOUNT_FILE,
scopes=[‘https://www.googleapis.com/auth/indexing’]
)
google_service = build(‘indexing’, ‘v3’, credentials=google_credentials)

# Функция для деиндексации в Google
def google_deindex(url):
try:
content = {
‘url’: url,
‘type’: ‘URL_DELETED’
}

response = google_service.urlNotifications().publish(
body=content
).execute()

logging.info(f»Google деиндексация для {url}: {response}»)
return True
except Exception as e:
logging.error(f»Ошибка Google деиндексации для {url}: {str(e)}»)
return False

# Функция для деиндексации в Яндекс
def yandex_deindex(urls_batch):
try:
endpoint = ‘https://yandex.com/indexnow’

payload = {
‘host’: YANDEX_HOST,
‘key’: YANDEX_API_KEY,
‘keyLocation’: YANDEX_KEY_LOCATION,
‘urlList’: urls_batch
}

headers = {
‘Content-Type’: ‘application/json’
}

response = requests.post(
endpoint,
data=json.dumps(payload),
headers=headers
)

logging.info(f»Яндекс деиндексация для {len(urls_batch)} URL: {response.text}»)
return True
except Exception as e:
logging.error(f»Ошибка Яндекс деиндексации: {str(e)}»)
return False

# Основная функция
def main():
# Чтение URL из файла
urls = []
with open(URLS_FILE, ‘r’) as file:
reader = csv.reader(file)
for row in reader:
if row and row[0].startswith(‘http’):
urls.append(row[0])

logging.info(f»Загружено {len(urls)} URL для деиндексации»)

# Деиндексация в Google (с учетом лимита 200 запросов в день)
google_count = 0
for url in urls[:200]:
if google_deindex(url):
google_count += 1
time.sleep(DELAY_BETWEEN_REQUESTS)

logging.info(f»Отправлено {google_count} запросов на деиндексацию в Google»)

# Деиндексация в Яндекс (пакетами по 100 URL)
yandex_batches = [urls[i:i+100] for i in range(0, len(urls), 100)]
yandex_count = 0

for batch in yandex_batches:
if yandex_deindex(batch):
yandex_count += len(batch)
time.sleep(DELAY_BETWEEN_REQUESTS)

logging.info(f»Отправлено {yandex_count} URL на деиндексацию в Яндекс»)

if __name__ == «__main__»:
main()
«`

Проверка статуса деиндексации

После отправки запросов на деиндексацию важно контролировать их выполнение.

Инструменты для проверки индексации

Существуют различные способы проверки статуса индексации URL:

Использование операторов поиска (site:, inurl:) в поисковых системах
Проверка через панели вебмастеров (Google Search Console, Яндекс.Вебмастер)
Использование специализированных API для проверки индексации

Пример скрипта для проверки статуса индексации

«`python
import requests
import json
import time
import csv
from datetime import datetime

# Конфигурация
API_ENDPOINT = ‘https://arsenkin.ru/tools/api/’
API_PARAMS = {
‘tools_name’: ‘indexation’,
‘yandex_check’: 1,
‘google_check’: 1,
‘search_all’: 1,
‘inurl’: 1
}
URLS_FILE = ‘urls_to_check.csv’
RESULTS_FILE = f’indexation_status_{datetime.now().strftime(«%Y%m%d_%H%M%S»)}.csv’
DELAY_BETWEEN_CHECKS = 10 # секунды

# Функция для создания задачи проверки индексации
def create_check_task(urls):
params = API_PARAMS.copy()
params[‘urls’] = json.dumps(urls)

response = requests.get(API_ENDPOINT, params=params)

if response.status_code == 200:
result = response.json()
if ‘task_id’ in result:
return result[‘task_id’]

return None

# Функция для получения результатов задачи
def get_task_results(task_id):
params = {
‘tools_name’: ‘indexation’,
‘task_id’: task_id
}

max_attempts = 10
for attempt in range(max_attempts):
response = requests.get(API_ENDPOINT, params=params)

if response.status_code == 200:
result = response.json()
if result.get(‘status’) == ‘completed’:
return result.get(‘data’, [])
elif result.get(‘status’) == ‘processing’:
print(f»Задача {task_id} все еще выполняется. Ожидание…»)
time.sleep(DELAY_BETWEEN_CHECKS)
else:
print(f»Ошибка задачи: {result}»)
return None

print(f»Превышено максимальное количество попыток для задачи {task_id}»)
return None

print(f»Загружено {len(urls)} URL для проверки»)

# Создание задачи
task_id = create_check_task(urls)
if not task_id:
print(«Не удалось создать задачу проверки индексации»)
return

print(f»Создана задача с ID: {task_id}»)

# Получение результатов
results = get_task_results(task_id)
if not results:
print(«Не удалось получить результаты проверки»)
return

# Сохранение результатов в CSV
with open(RESULTS_FILE, ‘w’, newline=») as file:
writer = csv.writer(file)
writer.writerow([‘URL’, ‘Яндекс индексация’, ‘Google индексация’])

for result in results:
writer.writerow([
result.get(‘url’, »),
‘Да’ if result.get(‘yandex_indexed’) else ‘Нет’,
‘Да’ if result.get(‘google_indexed’) else ‘Нет’
])

print(f»Результаты сохранены в файл {RESULTS_FILE}»)

if __name__ == «__main__»:
main()
«`

Юридические аспекты деиндексации

При работе с деиндексацией необходимо учитывать правовые аспекты этого процесса.

Законные основания для деиндексации

В России существует несколько законных оснований для требования деиндексации:

Нарушение авторских прав
Распространение недостоверной информации
Нарушение права на неприкосновенность частной жизни
Распространение информации с нарушением законодательства РФ

Альтернативные методы удаления информации

Помимо деиндексации через API существуют и другие методы:

Судебное решение об удалении информации
Прямое обращение к владельцам сайта
Использование специализированных сервисов по управлению репутацией

Однако эти методы имеют свои недостатки. Например, судебный процесс может быть длительным и не всегда эффективным — по статистике только треть дел по удалению информации в интернете через суд заканчивается в пользу заявителя.

Практические рекомендации по эффективной деиндексации

На основе опыта специалистов можно выделить несколько ключевых рекомендаций для повышения эффективности деиндексации.

Оптимизация процесса деиндексации

Используйте комбинированный подход, задействуя API разных поисковых систем
Регулярно проверяйте статус деиндексации и повторяйте запросы при необходимости
Учитывайте лимиты API и распределяйте запросы равномерно
Документируйте все действия и результаты для анализа эффективности

Типичные ошибки при работе с API деиндексации

Неправильная настройка аутентификации и авторизации
Игнорирование лимитов API, что приводит к блокировке доступа
Отсутствие мониторинга результатов деиндексации
Неправильное форматирование запросов к API

Кейс: массовая деиндексация для крупного проекта

Рассмотрим пример успешной деиндексации для крупного интернет-магазина, который столкнулся с проблемой дублирования контента после миграции на новую платформу.

Была разработана система автоматического выявления дублей с использованием алгоритмов сравнения контента
Создан скрипт для формирования списков URL, требующих деиндексации
Настроена автоматическая отправка запросов через API Google и Яндекс с учетом лимитов
Организован мониторинг статуса деиндексации с автоматическими отчетами

В результате за две недели удалось деиндексировать более 50 000 дублирующихся страниц, что привело к значительному улучшению позиций сайта в поисковой выдаче и увеличению органического трафика на 35%.

Деиндексация через API поисковых систем — мощный инструмент в руках разработчиков для управления видимостью контента в интернете. Правильное использование программных интерфейсов Google и Яндекс позволяет автоматизировать процесс и добиться высокой эффективности при удалении нежелательной информации из поисковой выдачи.

Важно помнить, что деиндексация — это технический процесс, который должен применяться в рамках законодательства и с соблюдением этических норм. Комбинирование технических знаний с пониманием юридических аспектов позволит достичь наилучших результатов в управлении цифровой репутацией. Если вам нужна профессиональная помощь в организации процесса деиндексации, специалисты Primerep готовы подключиться и взять это на себя.