隨著數據量持續增長,對合格數據專業人員的需求也會增長。具體而言,對SQL流利的專業人士的需求日益增長,而不僅僅是在初級層面。
因此,Stratascratch的創始人Nathan Rosidi以及我覺得我認為10個最重要和相關的中級到高級SQL概念。
1.常見表表達式(CTEs)
如果您想要查詢子查詢,那就是CTEs施展身手的時候 - CTEs基本上創建了一個臨時表。
使用常用表表達式(CTEs)是模塊化和分解代碼的好方法,與您將文章分解為幾個段落的方式相同。
請在Where子句中使用子查詢進行以下查詢。
SELECT? ?name, ?salary? FROM ?People? WHERE ?NAME?IN?(?SELECT?DISTINCT?NAME?FROM?population?WHERE?country?=?"Canada"?AND?city?=?"Toronto"?)? ?AND?salary?>=?( ?SELECT ??AVG(?salary?)? ?FROM ??salaries? WHERE ?gender?=?"Female")
這似乎似乎難以理解,但如果在查詢中有許多子查詢,那么怎么樣?這就是CTEs發揮作用的地方。
with?toronto_ppl?as?( ???SELECT?DISTINCT?name ???FROM?population ???WHERE?country?=?"Canada" ?????????AND?city?=?"Toronto" ) ,?avg_female_salary?as?( ???SELECT?AVG(salary)?as?avgSalary ???FROM?salaries ???WHERE?gender?=?"Female" ) SELECT?name ???????,?salary FROM?People WHERE?name?in?(SELECT?DISTINCT?FROM?toronto_ppl) ??????AND?salary?>=?(SELECT?avgSalary?FROM?avg_female_salary)
現在很清楚,Where子句是在多倫多的名稱中過濾。如果您注意到,CTE很有用,因為您可以將代碼分解為較小的塊,但它們也很有用,因為它允許您為每個CTE分配變量名稱(即toronto_ppl和avg_female_salary)
同樣,CTEs允許您完成更高級的技術,如創建遞歸表。
2.遞歸CTEs.
遞歸CTE是引用自己的CTE,就像Python中的遞歸函數一樣。遞歸CTE尤其有用,它涉及查詢組織結構圖,文件系統,網頁之間的鏈接圖等的分層數據,尤其有用。
遞歸CTE有3個部分:
錨構件:返回CTE的基本結果的初始查詢
遞歸成員:引用CTE的遞歸查詢。這是所有與錨構件的聯盟
停止遞歸構件的終止條件
以下是獲取每個員工ID的管理器ID的遞歸CTE的示例:
with?org_structure?as?( ???SELECT?id ??????????,?manager_id ???FROM?staff_members ???WHERE?manager_id?IS?NULL ???UNION?ALL ???SELECT?sm.id ??????????,?sm.manager_id ???FROM?staff_members?sm ???INNER?JOIN?org_structure?os ??????ON?os.id?=?sm.manager_id
3.臨時函數
如果您想了解有關臨時函數的更多信息,請檢查此項,但知道如何編寫臨時功能是重要的原因:
它允許您將代碼的塊分解為較小的代碼塊
它適用于寫入清潔代碼
它可以防止重復,并允許您重用類似于使用Python中的函數的代碼。
考慮以下示例:
SELECT?name ???????,?CASE?WHEN?tenure?1?THEN?"analyst" ??????????????WHEN?tenure?BETWEEN?1?and?3?THEN?"associate" ??????????????WHEN?tenure?BETWEEN?3?and?5?THEN?"senior" ??????????????WHEN?tenure?>?5?THEN?"vp" ??????????????ELSE?"n/a" ?????????END?AS?seniority? FROM?employees
相反,您可以利用臨時函數來捕獲案例子句。
CREATE?TEMPORARY?FUNCTION?get_seniority(tenure?INT64)?AS?( ???CASE?WHEN?tenure?1?THEN?"analyst" ????????WHEN?tenure?BETWEEN?1?and?3?THEN?"associate" ????????WHEN?tenure?BETWEEN?3?and?5?THEN?"senior" ????????WHEN?tenure?>?5?THEN?"vp" ????????ELSE?"n/a" ???END ); SELECT?name ???????,?get_seniority(tenure)?as?seniority FROM?employees
通過臨時函數,查詢本身更簡單,更可讀,您可以重復使用資歷函數!
4.使用CASE WHEN樞轉數據
您很可能會看到許多要求在陳述時使用CASE WHEN的問題,這只是因為它是一種多功能的概念。如果要根據其他變量分配某個值或類,則允許您編寫復雜的條件語句。
較少眾所周知,它還允許您樞轉數據。例如,如果您有一個月列,并且您希望為每個月創建一個單個列,則可以使用語句追溯數據的情況。
示例問題:編寫SQL查詢以重新格式化表,以便每個月有一個收入列。
Initial?table:?? +------+---------+-------+?? |?id???|?revenue?|?month?|?? +------+---------+-------+?? |?1????|?8000????|?Jan???|?? |?2????|?9000????|?Jan???|?? |?3????|?10000???|?Feb???|?? |?1????|?7000????|?Feb???|?? |?1????|?6000????|?Mar???|?? +------+---------+-------+?? ?? Result?table:?? +------+-------------+-------------+-------------+-----+-----------+?? |?id???|?Jan_Revenue?|?Feb_Revenue?|?Mar_Revenue?|?...?|?Dec_Revenue?|?? +------+-------------+-------------+-------------+-----+-----------+?? |?1????|?8000????????|?7000????????|?6000????????|?...?|?null????????|?? |?2????|?9000????????|?null????????|?null????????|?...?|?null????????|?? |?3????|?null????????|?10000???????|?null????????|?...?|?null????????|?? +------+-------------+-------------+-------------+-----+-----------+
5.EXCEPT vs NOT IN
除了幾乎不相同的操作。它們都用來比較兩個查詢/表之間的行。所說,這兩個人之間存在微妙的細微差別。
首先,除了過濾刪除重復并返回不同的行與不在中的不同行。
同樣,除了在查詢/表中相同數量的列,其中不再與每個查詢/表比較單個列。
6.自聯結
一個SQL表自行連接自己。你可能會認為沒有用,但你會感到驚訝的是這是多么常見。在許多現實生活中,數據存儲在一個大型表中而不是許多較小的表中。在這種情況下,可能需要自我連接來解決獨特的問題。
讓我們來看看一個例子。
示例問題:給定下面的員工表,寫出一個SQL查詢,了解員工的工資,這些員工比其管理人員工資更多。對于上表來說,Joe是唯一一個比他的經理工資更多的員工。
+----+-------+--------+-----------+?? |?Id?|?Name??|?Salary?|?ManagerId?|?? +----+-------+--------+-----------+?? |?1??|?Joe???|?70000??|?3?????????|?? |?2??|?Henry?|?80000??|?4?????????|?? |?3??|?Sam???|?60000??|?NULL??????|?? |?4??|?Max???|?90000??|?NULL??????|?? +----+-------+--------+-----------+Answer:?? SELECT?? ????a.Name?as?Employee?? FROM?? ????Employee?as?a?? ????JOIN?Employee?as?b?on?a.ManagerID?=?b.Id?? WHERE?a.Salary?>?b.Salary
7.Rank vs Dense Rank vs Row Number
它是一個非常常見的應用,對行和價值進行排名。以下是公司經常使用排名的一些例子:
按購物,利潤等數量排名最高值的客戶
排名銷售數量的頂級產品
以最大的銷售排名頂級國家
排名在觀看的分鐘數,不同觀眾的數量等觀看的頂級視頻。
在SQL中,您可以使用幾種方式將“等級”分配給行,我們將使用示例進行探索。考慮以下Query和結果:
SELECT?Name?? ?,?GPA?? ?,?ROW_NUMBER()?OVER?(ORDER?BY?GPA?desc)?? ?,?RANK()?OVER?(ORDER?BY?GPA?desc)?? ?,?DENSE_RANK()?OVER?(ORDER?BY?GPA?desc)?? FROM?student_grades
ROW_NUMBER()返回每行開始的唯一編號。當存在關系時(例如,BOB vs Carrie),ROW_NUMBER()如果未定義第二條標準,則任意分配數字。
Rank()返回從1開始的每行的唯一編號,除了有關系時,等級()將分配相同的數字。同樣,差距將遵循重復的等級。
dense_rank()類似于等級(),除了重復等級后沒有間隙。請注意,使用dense_rank(),Daniel排名第3,而不是第4位()。
8.計算Delta值
另一個常見應用程序是將不同時期的值進行比較。例如,本月和上個月的銷售之間的三角洲是什么?或者本月和本月去年這個月是什么?
在將不同時段的值進行比較以計算Deltas時,這是Lead()和LAG()發揮作用時。
這是一些例子:
#?Comparing?each?month's?sales?to?last?month?? SELECT?month?? ???????,?sales?? ???????,?sales?-?LAG(sales,?1)?OVER?(ORDER?BY?month)?? FROM?monthly_sales?? #?Comparing?each?month's?sales?to?the?same?month?last?year?? SELECT?month?? ???????,?sales?? ???????,?sales?-?LAG(sales,?12)?OVER?(ORDER?BY?month)?? FROM?monthly_sales
9.計算運行總數
如果你知道關于row_number()和lag()/ lead(),這可能對您來說可能不會驚喜。但如果你沒有,這可能是最有用的窗口功能之一,特別是當您想要可視化增長!
使用具有SUM()的窗口函數,我們可以計算運行總數。請參閱下面的示例:
SELECT?Month?? ???????,?Revenue?? ???????,?SUM(Revenue)?OVER?(ORDER?BY?Month)?AS?Cumulative?? FROM?monthly_revenue
10.日期時間操縱
您應該肯定會期望某種涉及日期時間數據的SQL問題。例如,您可能需要將數據分組組或將可變格式從DD-MM-Yyyy轉換為簡單的月份。
您應該知道的一些功能是:
提煉
日元
date_add,date_sub.
date_trunc.
示例問題:給定天氣表,寫一個SQL查詢,以查找與其上一個(昨天)日期相比的溫度較高的所有日期的ID。
+---------+------------------+------------------+?? |?Id(INT)?|?RecordDate(DATE)?|?Temperature(INT)?|?? +---------+------------------+------------------+?? |???????1?|???????2015-01-01?|???????????????10?|?? |???????2?|???????2015-01-02?|???????????????25?|?? |???????3?|???????2015-01-03?|???????????????20?|?? |???????4?|???????2015-01-04?|???????????????30?|?? +---------+------------------+------------------+Answer:?? SELECT?? ????a.Id?? FROM?? ????Weather?a,?? ????Weather?b?? WHERE?? ????a.Temperature?>?b.Temperature?? ????AND?DATEDIFF(a.RecordDate,?b.RecordDate)?=?1
就這樣!我希望這有助于您在面試準備中 - 我相信,如果您知道這10個內部概念,那么在那里大多數SQL問題時,你會做得很好。
一如既往,祝你學習努力最好!
本文由聞數起舞翻譯自Dimitris Poulopoulos的文章??
《Ten Advanced SQL Concepts You Should Know for Data Science Interviews》
原文鏈接:
https://towardsdatascience.com/ten-advanced-sql-concepts-you-should-know-for-data-science-interviews-4d7015ec74b0
編輯:黃飛
?
評論