url

Crea una tabla a partir de una URL con el format y la structure especificados

La función url crea una tabla a partir de una URL con el format y la structure especificados.

La función url puede utilizarse en consultas SELECT e INSERT sobre datos de tablas URL.

​

Sintaxis

url(URL [,format] [,structure] [,headers])

​

Parámetros

Parámetro	Descripción
URL	Dirección del servidor HTTP o HTTPS entre comillas simples, que puede aceptar peticiones GET o POST (para consultas SELECT o INSERT, respectivamente). Tipo: String.
format	Format de los datos. Tipo: String.
structure	Estructura de la tabla en el formato 'UserID UInt64, Name String'. Determina los nombres de las columnas y sus tipos. Tipo: String.
headers	Encabezados en el formato 'headers('key1'='value1', 'key2'='value2')'. Puede configurar encabezados para la llamada HTTP.

​

Valor devuelto

Una tabla con el formato y la estructura especificados, y con datos de la URL indicada.

​

Ejemplos

Obtener las primeras 3 líneas de una tabla que contiene columnas de tipo String y UInt32 desde un servidor HTTP que responde en formato CSV.

SELECT * FROM url('http://127.0.0.1:12345/', CSV, 'column1 String, column2 UInt32', headers('Accept'='text/csv; charset=utf-8')) LIMIT 3;

Insertar datos de una URL en una tabla:

CREATE TABLE test_table (column1 String, column2 UInt32) ENGINE=Memory;
INSERT INTO FUNCTION url('http://127.0.0.1:8123/?query=INSERT+INTO+test_table+FORMAT+CSV', 'CSV', 'column1 String, column2 UInt32') VALUES ('http interface', 42);
SELECT * FROM test_table;

​

Globs en URL

Los patrones entre { } se utilizan para generar un conjunto de segmentos o para especificar direcciones de conmutación por error. Para ver los tipos de patrones admitidos y ejemplos, consulte la descripción de la función remote. El carácter | dentro de los patrones se utiliza para especificar direcciones de conmutación por error. Se recorren en el mismo orden en que aparecen en el patrón. El número de direcciones generadas está limitado por la configuración glob_expansion_max_elements. Para la sintaxis de globs en la ruta de la URL (como *, {a,b}, {N..M} y **), consulte Globs en la ruta. Tenga en cuenta que ? inicia la cadena de consulta en una URL y no puede usarse como comodín en el componente de ruta.

​

Comodines con páginas de índice HTTP

Para url y el motor de tabla URL, ClickHouse puede expandir comodines recuperando páginas de índice HTTP (HTML o texto sin formato) y extrayendo las URL del cuerpo de la respuesta. Esto permite patrones como /**/ cuando el servidor expone listados de directorios.

Notas:

• Las URL relativas se resuelven con respecto a la URL de la página de índice.
• Las plantillas de URL se expanden antes de recuperar las páginas de índice, incluida la expansión de segmentos mediante comas y rangos numéricos, y las opciones de conmutación por error | fuera del componente de ruta.
• Los patrones de conmutación por error | dentro del componente de ruta no son compatibles con la expansión de páginas de índice HTTP.
• La coincidencia de comodines se aplica al componente de ruta de la URL.
• Si una URL listada ya contiene una cadena de consulta o un fragmento, estos tienen prioridad sobre los de la URL de origen. En caso contrario, se usan la cadena de consulta y el fragmento de la URL de origen.
• Se permite un listado vacío; los errores HTTP (p. ej., 404) en las páginas de índice generan excepciones.
• El tamaño máximo de la página de índice está limitado por max_http_index_page_size.
• El número máximo de directorios leídos durante la expansión recursiva está limitado por url_wildcard_max_directories_to_read.

Ejemplo:

SELECT count()
FROM url('https://ftp.gnu.org/gnu/wget/wget-1.21*.tar.gz', 'RawBLOB')
SETTINGS max_threads = 1, allow_experimental_url_wildcard_from_index_pages = 1;

​

Columnas virtuales

• _path — Ruta de la URL. Tipo: LowCardinality(String).
• _file — Nombre del recurso de la URL. Tipo: LowCardinality(String).
• _size — Tamaño del recurso en bytes. Tipo: Nullable(UInt64). Si se desconoce el tamaño, el valor es NULL.
• _time — Fecha y hora de la última modificación del archivo. Tipo: Nullable(DateTime). Si se desconoce la hora, el valor es NULL.
• _headers - Encabezados de la respuesta HTTP. Tipo: Map(LowCardinality(String), LowCardinality(String)).

​

configuración use_hive_partitioning

Cuando la configuración use_hive_partitioning se establece en 1, ClickHouse detecta el particionamiento al estilo Hive en la ruta (/name=value/) y permite usar las columnas de partición como columnas virtuales en la consulta. Estas columnas virtuales tendrán los mismos nombres que en la ruta particionada.

Ejemplo

Uso de una columna virtual creada con particionamiento al estilo Hive

SELECT * FROM url('http://data/path/date=*/country=*/code=*/*.parquet') WHERE date > '2020-01-01' AND country = 'Netherlands' AND code = 42;

​

Resolución de URL relativas

La configuración url_base permite pasar una URL relativa a la función url. Cuando se establece url_base y el argumento de la función es una referencia relativa, esta se resuelve con respecto a la URL base según RFC 3986.

Las reglas de resolución son:

• Relativa a la ruta (p. ej., data.csv): se combina con la ruta de la URL base; todo lo que aparece después de la última / de la ruta base se reemplaza. La barra diagonal final importa: https://example.com/dir/ + data.csv da https://example.com/dir/data.csv, pero https://example.com/dir + data.csv da https://example.com/data.csv. Los segmentos de punto (./ y ../) se normalizan.
• Relativa al host (p. ej., /test/data.csv): se resuelve usando el esquema y el host de la URL base.
• Relativa al esquema (p. ej., //other.com/test/data.csv): se resuelve usando el esquema de la URL base.
• Solo cadena de consulta (p. ej., ?x=1): se añade a la ruta base completa y reemplaza cualquier cadena de consulta o fragmento existente.
• Solo fragmento (p. ej., #frag): se añade a la URL base, conserva la cadena de consulta y reemplaza cualquier fragmento existente.
• Vacía: devuelve la URL base sin fragmento.
• URL absoluta: se pasa sin cambios; url_base se ignora.

Ejemplo

SET url_base = 'https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/';
SELECT * FROM url('tests/queries/0_stateless/data_csv/data.csv', CSV) LIMIT 3;

​

Configuración de almacenamiento

• engine_url_skip_empty_files - permite omitir archivos vacíos durante la lectura. Desactivado de forma predeterminada.
• enable_url_encoding - permite activar/desactivar la codificación y decodificación de la ruta en el URI. Activado de forma predeterminada.
• url_base - URL base para resolver las URL relativas que se pasan a la función url.

​

Permisos

La función url requiere el permiso CREATE TEMPORARY TABLE. Por lo tanto, no funcionará para los usuarios con la opción readonly = 1. Se requiere como mínimo readonly = 2.

​

Relacionado

• Columnas virtuales