SQL Server da un giro hacia Kubernetes y Big Data

        Los clústeres de big data de SQL Server 2019 reúnen datos relacionales y no estructurados en un mundo en el que no es necesario conservar los datos antes de usarlos.
    

        
                                                                                    
                        

                 { } {1945 {194590} {1945908} 1919908} {1945908} }
    

     Cómo instalar MS SQL en un servidor Ubuntu
     ¿No le gustaría tener un servidor de base de datos MS SQL combinado con el poder, la confiabilidad y la seguridad de Linux? Es más fácil de lo que pensabas. Deja que Jack Wallen te muestre cómo.
    

    

    
        

Originalmente, el servicio de base de datos SQL en Azure y el producto SQL Server se basaban en un código diferente. Hace algunos años, Microsoft unificó la base de código para que las aplicaciones fueran compatibles entre ellas. El equipo de SQL se dio cuenta de que, en lugar de solo querer mover sus aplicaciones de bases de datos a la nube, los clientes querían que fuera más fácil administrar la complejidad de tener múltiples bases de datos.

VER: 10 problemas y soluciones comunes de SQL Server (PDF gratuito)

“Lo que vimos fue que incluso en la era de la nube Hubo tanto interés en SQL Server que hubo una oportunidad de ampliar la propuesta de valor de lo que es SQL Server “, dijo a TechRepublic el gerente general de Azure Data y AI John 'JG' Chirapurath . Eso llevó a la tecnología Polybase en SQL Server 2016 (“Polybase le permite hablar en T-SQL la lingua franca de SQL Server y consultar un grupo de fuentes de datos diferentes “) y a SQL Server 2017 para Linux que Chirapurath llama” una de las versiones más importantes que hemos tenido de SQL Server y posiblemente la versión más exitosa que hemos tenido “. En 18 meses, se ha descargado más de 20 millones de veces, y parte de ese volumen se debe a lo sencillo que es el despliegue del soporte del contenedor.

PolyBase permite que SQL Server 2016 procese consultas Transact-SQL que leen datos de Hadoop. La misma consulta también puede acceder a tablas relacionales en SQL Server.

” data-credit = “Imagen: Microsoft” rel = “noopener noreferrer nofollow”>  microsoft-polybase.jpg

PolyBase habilita SQL Server 2016 para procesar consultas Transact-SQL que leen datos de Hadoop. La misma consulta también puede acceder a tablas relacionales en SQL Server.

                                            Imagen: Microsoft
                                        

Simplificando Kubernetes para big data

Los clientes querían SQL Server en Kubernetes dice Chirapurath, pero también querían que eso fuera más fácil.

“La mayoría de las empresas han adoptado contenedores como un medio para administrar básicamente las aplicaciones y sistemas políglotas dentro de los centros de datos, y cada vez más, lo están conectando a Kubernetes como un marco de orquestación”, dice Chirapurath.

“Una de las razones por las que Kubernetes se está volviendo complicado es que hay muchas extensiones que las personas están agregando, por lo que ha pasado de ser un marco de uso general a una idea de 'talla única'. Kubernetes es muy diferente cosas “, agrega Chirapurath.

Para SQL Server 2019 los administradores del clúster tienen un portal de administración y una interfaz de línea de comandos que pueden usar para realizar toda la administración.

Lo que los clientes comenzaron a pedir fue el mismo tipo de ayuda con sus lagos de datos de datos no estructurados que SQL Server les estaba brindando entre la nube y las bases de datos locales. “Ayúdenos con nuestro lago de datos y todos los datos no estructurados que hemos recopilado. Ayúdenos a administrar toda esta complejidad con datos que vemos en las instalaciones y en la nube. Danos una forma muy coherente, donde podamos usar nuestras herramientas familiares, habilidades familiares, con cosas en las que ya apostamos. Y las apuestas involucraron cosas como Spark, HDFS, quizás Python, R y cosas similares “, dice Chirapurath.

VER: Kit de contratación: administrador de la base de datos (TechRepublic Premium)

Servidor Once SQL 2017 se estaba ejecutando en contenedores, Microsoft podría extender Polybase para que no solo pueda consultar fuentes de datos como MongoDB y Oracle con SQL Server 2019, sino que también puede colocar un grupo de almacenamiento HDFS dentro de un clúster de SQL Server (ejecutándose en un clúster de contenedores de Linux ) y ejecute SQL Server y Spark en ese grupo de almacenamiento.

“Básicamente hemos tomado el motor Spark de código abierto y lo hemos integrado estrechamente con el procesador de consultas SQL, el motor SQL Server”, dice Chirapurath. “Ahora esencialmente puede incrustar consultas de Spark dentro de las sentencias de sintaxis SQL de SQL Server, y puede consultar directamente lagunas de datos. SQL es completamente relacional, mientras que sus lagunas de datos están completamente desestructuradas; pueden ser cualquier tipo de datos. Ahora puede cree una capa de virtualización de datos y administre todo tipo de datos en su empresa, independientemente de si se puede almacenar dentro de SQL Server o no. “

Eso facilita la consulta de HDFS, pero también simplifica la configuración porque de crear y administrar almacenamiento HDFS separado, puede implementar un grupo de disponibilidad de SQL Server en Kubernetes con un solo comando y obtener un clúster en aproximadamente media hora. También evita los problemas de seguridad habituales de la integración de entornos relacionales y de big data: los clústeres de big data de SQL Server tienen un nivel de seguridad integrado que cubre SQL Server, Spark y HDFS. Los servicios de aprendizaje automático de SQL Server se ejecutan en la instancia maestra y las puntuaciones y predicciones de R, Python, Java y de aprendizaje automático se ejecutan de forma nativa en el clúster maestro. Si lo desea, incluso hay herramientas de terceros para acelerar Spark dentro de SQL Server con FPGAs .

Ejecutar Spark significa que puede ejecutar Spark ML así como utilizar el soporte de R y Python agregado a SQL Server 2017, por lo que puede construir sistemas de aprendizaje automático que funcionen tanto con estructura como sin estructura datos. “Puede crear una tubería de aprendizaje automático en la que puede extraer datos no estructurados a través de la integración de Spark, puede extraer datos relacionales a través del procesador de consultas SQL y puede usar R y Python para crear modelos de aprendizaje automático directamente dentro de SQL Server, “dice Chirapurath.

“Lo que veo hoy en el mercado desde una perspectiva de IA es que las personas se acercan al arte y la ciencia y al oficio del aprendizaje automático de dos maneras”, dice Chirapurath. “Una forma es a través del ecosistema de Big Data, ya que recopilan los datos en el mundo de Hadoop y comienzan a usar Spark para razonar básicamente sobre esos datos y luego comienzan a usar cosas como Spark ML. Esencialmente, están haciendo un aprendizaje automático muy complicado y complejo en los datos a los que tienen acceso. Por otro lado, veo muchos desarrolladores que usan lenguajes como R y Python, incluso cosas como Scala y eso está muy centrado en el desarrollador. Lo que SQL Server 2019 puede hacer es unir ambos puntos de vista. “

Los ingenieros de datos, científicos de datos, DBA y desarrolladores de SQL Server pueden usar Azure Data Studio para administrar bases de datos y escribir consultas y trabajar con ambos conjuntos de herramientas.

Cruzando las corrientes

La ventaja de tener R y Python dentro del motor de SQL Server es que puede hacer aprendizaje automático donde viven los datos, con una latencia mucho menor que si los datos se almacenaran en otro lugar . Obtiene la misma ventaja con SQL Server 2019, en ambas direcciones. La capa de virtualización de datos evita la necesidad de mover petabytes de datos fuera de un lago de datos, lo cual no es práctico. “Del mismo modo, los clientes son reacios a mover datos de SQL Server para realizar un proceso completo de ingeniería de datos de limpieza para lograr una tarea de IA o una tarea de ML. Lo que esto le permite hacer es trabajar con los datos dentro de SQL Server, y cásalo en el conjunto de resultados para los datos que consultas usando Spark de tu lago de datos “, dice Chirapurath.

Anteriormente, si deseaba trabajar con datos estructurados y no estructurados juntos, estaba buscando una cantidad significativa de ETL: si desea combinar datos de SQL Server y Spark en Azure Data Warehouse, debe usar Azure Data Fábrica para ingerir y transformar datos .

Analytics ha presentado a las empresas lo que Chirapurath llama una “elección falsa” entre datos estructurados / relacionales y no estructurados / no relacionales, al tratarlos a ambos como silos para administrar y usar datos por razones puramente históricas.

“Los sistemas de bases de datos relacionales nacieron en un momento en que el almacenamiento tuvo un alto costo. Debido a las innovaciones tecnológicas, el almacenamiento [the cost of] casi se ha reducido a cero”, señala Chirapurath. Cuando apareció por primera vez la PC de IBM, un disco duro de 20 MB costaba entre 3 y 4.000 dólares. “Ahora la mitad de las cosas que recibo en mi bandeja de entrada son de unos 20 MB”, dice.

La caída del costo de almacenamiento y la dificultad de saber cuál de sus petabytes de datos vale la pena mantener, significa que el problema no es guardar datos, sino que lo está haciendo útil. “Lo que la gente hizo con las bases de datos relacionales fue que crearon medios altamente conservados para almacenar datos; fueron extremadamente duros con lo que se guardó y lo que se desechó. El 'registro de oro' [everything in every system of record in an organization] fue sacrosanto, porque el almacenamiento era increíblemente costoso. sucedió en la última década y no hubo una razón de costo para tirar nada, así que lo han almacenado todo. Estamos en un mundo de salvar todo “, dice Chirapurath.

SQL Server 2019 se enviará pronto y Chirapurath insinuó que habrá más anuncios para las herramientas de base de datos de Microsoft que se ajusten a estas tendencias del mercado en Ignite incluida la apuesta por el código abierto. “Lo que está viendo con los clústeres de Big Data de SQL Server, con un motor de análisis de código abierto, que es Spark, viene junto a un motor de análisis relacional, que es SQL Server, con el sistema capaz de consultar tanto relacionales como no los datos relacionales son una indicación de cómo creemos que deberíamos trabajar con los clientes para derribar esas barreras artificiales “.

                                                                                

                                                

Más sobre Microsoft


Source link

Be part of our affiliated companies and receive a 20% discount.
www.onevirtualoffice.com
www.be1radio.com
www.rmcommunik.com
www.beonegroup.ca

Need Help?
Let our experienced staff help with virtual helpdesk. click for details.

Services:
– Laptop and Desktop Repair
– Virus and Malware Removal
– Computer Tune-up
– Remote Assistance
– Data Backup
– Data Recovery
– File Transfer and Sharing
– Hardware Diagnostics
– Antivirus Installation
– Software Installation
– Hardware Upgrades
– New System Setup
– Printer Troubleshooting
-Webmaster,hosting,Logo , Graphic design
-Social media Management
– Networking
– Install Windows Operating System (10, 8, 7, Vista and XP)

Business & Residential Toll Free: 1-800-432-1475 | Direct: (438)488-3296

About rasco

Be Happy the future is friendly.
Allrights Reserved 2007-2018 - Beone Magazine - powered by rasco