Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

使用矩陣分解模型，根據明確意見回饋建立建議

本教學課程說明如何建立矩陣分解模型，並使用 movielens1m 資料集中的客戶電影評分訓練模型。接著，您可以使用矩陣分解模型，為使用者產生電影推薦。

使用顧客提供的評分訓練模型，稱為使用「明確回饋」訓練。當您使用明確回饋做為訓練資料時，系統會使用交替最小平方法演算法訓練矩陣分解模型。

目標

本教學課程會逐步引導您完成下列工作：

使用 CREATE MODEL 陳述式建立矩陣分解模型。
使用 ML.EVALUATE 函式評估模型。
使用模型搭配 ML.RECOMMEND 函式，為使用者產生電影推薦。

費用

本教學課程使用 Google Cloud的計費元件，包括：

BigQuery
BigQuery ML

如要進一步瞭解 BigQuery 費用，請參閱 BigQuery 定價頁面。

如要進一步瞭解 BigQuery ML 費用，請參閱「BigQuery ML 定價」。

事前準備

登入 Google Cloud 帳戶。如果您未曾使用過 Google Cloud，歡迎建立帳戶，親自體驗實際使用我們產品的成效。新客戶還能獲得價值 $300 美元的免費抵免額，用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

新專案會自動啟用 BigQuery。如要在現有專案中啟用 BigQuery，請前往
啟用 BigQuery API (如果尚未啟用)。
啟用 API 所需的角色
如要啟用 API，您必須具備 serviceusage.services.enable 權限。如果您建立了專案，可能已透過擁有者角色 (roles/owner) 取得這項權限。否則，您可以透過 Service Usage 管理員角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。
啟用 API

所需權限

如要建立資料集，您必須具備 bigquery.datasets.create IAM 權限。
如要建立模型，您必須具備下列權限：
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
如要執行推論，您必須具備下列權限：
- bigquery.models.getData
- bigquery.jobs.create

如要進一步瞭解 BigQuery 的 IAM 角色和權限，請參閱「IAM 簡介」。

建立資料集

如要建立 BigQuery 資料集，請選取下列其中一個選項：

控制台

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」
點選左側窗格中的「Explorer」。

如果沒有看到左側窗格，請按一下「Expand left pane」(展開左側窗格)，開啟窗格。
在「Explorer」中展開專案，然後按一下「資料集」。
在「Datasets」(資料集) 頁面，按一下「Create dataset」(建立資料集)。
在「建立資料集」窗格中，執行下列操作：
- 在「Dataset ID」(資料集 ID) 中輸入 bqml_tutorial。
- 在「資料位置」部分，選取「US」。
其餘預設設定則保持不變。
點選「建立資料集」。

bq

如要建立新的資料集，請使用 bq mk --dataset 指令。

建立名為 bqml_tutorial 的資料集，並將資料位置設為 US：

bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

確認資料集已建立：
```
bq ls
```

API

使用定義的資料集資源呼叫 datasets.insert 方法：

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

試用這個範例前，請先按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定操作說明操作。詳情請參閱 BigQuery DataFrames 參考文件。

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定 ADC」。

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

上傳 Movielens 資料

將 movielens1m 資料上傳至 BigQuery。

CLI

請按照下列步驟，使用 bq 指令列工具上傳 movielens1m 資料：

開啟 Cloud Shell：

啟用 Cloud Shell

將評分資料上傳至 ratings 資料表。在指令列中貼上下列查詢，然後按下 Enter：

curl -O 'http://files.grouplens.org/datasets/movielens/ml-1m.zip'
unzip ml-1m.zip
sed 's/::/,/g' ml-1m/ratings.dat > ratings.csv
bq load --source_format=CSV bqml_tutorial.ratings ratings.csv \
  user_id:INT64,item_id:INT64,rating:FLOAT64,timestamp:TIMESTAMP

將電影資料上傳至 movies 資料表。在指令列中貼上以下查詢，然後按下 Enter：

sed 's/::/@/g' ml-1m/movies.dat > movie_titles.csv
bq load --source_format=CSV --field_delimiter=@ \
bqml_tutorial.movies movie_titles.csv \
movie_id:INT64,movie_title:STRING,genre:STRING

BigQuery DataFrames

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定 ADC」。

首先，使用 bqclient = google.cloud.bigquery.Client() 建立 Client 物件，然後將 movielens1m 資料載入上一步建立的資料集。

import io
import zipfile

import google.api_core.exceptions
import requests

try:
    # Check if you've already created the Movielens tables to avoid downloading
    # and uploading the dataset unnecessarily.
    bqclient.get_table("bqml_tutorial.ratings")
    bqclient.get_table("bqml_tutorial.movies")
except google.api_core.exceptions.NotFound:
    # Download the https://grouplens.org/datasets/movielens/1m/ dataset.
    ml1m = requests.get("http://files.grouplens.org/datasets/movielens/ml-1m.zip")
    ml1m_file = io.BytesIO(ml1m.content)
    ml1m_zip = zipfile.ZipFile(ml1m_file)

    # Upload the ratings data into the ratings table.
    with ml1m_zip.open("ml-1m/ratings.dat") as ratings_file:
        ratings_content = ratings_file.read()

    ratings_csv = io.BytesIO(ratings_content.replace(b"::", b","))
    ratings_config = google.cloud.bigquery.LoadJobConfig()
    ratings_config.source_format = "CSV"
    ratings_config.write_disposition = "WRITE_TRUNCATE"
    ratings_config.schema = [
        google.cloud.bigquery.SchemaField("user_id", "INT64"),
        google.cloud.bigquery.SchemaField("item_id", "INT64"),
        google.cloud.bigquery.SchemaField("rating", "FLOAT64"),
        google.cloud.bigquery.SchemaField("timestamp", "TIMESTAMP"),
    ]
    bqclient.load_table_from_file(
        ratings_csv, "bqml_tutorial.ratings", job_config=ratings_config
    ).result()

    # Upload the movie data into the movies table.
    with ml1m_zip.open("ml-1m/movies.dat") as movies_file:
        movies_content = movies_file.read()

    movies_csv = io.BytesIO(movies_content.replace(b"::", b"@"))
    movies_config = google.cloud.bigquery.LoadJobConfig()
    movies_config.source_format = "CSV"
    movies_config.field_delimiter = "@"
    movies_config.write_disposition = "WRITE_TRUNCATE"
    movies_config.schema = [
        google.cloud.bigquery.SchemaField("movie_id", "INT64"),
        google.cloud.bigquery.SchemaField("movie_title", "STRING"),
        google.cloud.bigquery.SchemaField("genre", "STRING"),
    ]
    bqclient.load_table_from_file(
        movies_csv, "bqml_tutorial.movies", job_config=movies_config
    ).result()

建立模型

建立矩陣分解模型，並使用 ratings 資料表中的資料訓練模型。模型會根據客戶提供的電影評分，預測每組使用者與項目的評分。

SQL

下列 CREATE MODEL 陳述式會使用這些資料欄產生建議：

user_id：使用者 ID。
item_id：電影 ID。
rating：使用者給予項目的明確評分 (1 到 5)。

請按照下列步驟建立模型：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」

在查詢編輯器中貼上以下查詢，然後點選「執行」：

CREATE OR REPLACE MODEL `bqml_tutorial.mf_explicit`
OPTIONS (
  MODEL_TYPE = 'matrix_factorization',
  FEEDBACK_TYPE = 'explicit',
  USER_COL = 'user_id',
  ITEM_COL = 'item_id',
  L2_REG = 9.83,
  NUM_FACTORS = 34)
AS
SELECT
user_id,
item_id,
rating
FROM `bqml_tutorial.ratings`;

查詢約需 10 分鐘才能完成，完成後，mf_explicit 模型會顯示在「Explorer」窗格中。由於查詢使用 CREATE MODEL 陳述式建立模型，因此不會顯示查詢結果。

BigQuery DataFrames

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定 ADC」。

import bigframes.pandas as bpd
from bigframes.bigquery import ml

# Set partial ordering mode for BigQuery DataFrames.
# For more information, see the BigQuery DataFrames performance documentation:
# https://cloud.google.com/bigquery/docs/dataframes-performance#partial-ordering-mode
bpd.options.bigquery.ordering_mode = "partial"

# Load data from BigQuery
bq_df = bpd.read_gbq(
    "bqml_tutorial.ratings", columns=("user_id", "item_id", "rating")
)

# For more information, see the BigQuery DataFrames API reference documentation:
# https://dataframes.bigquery.dev/reference/api/bigframes.bigquery.ml.create_model.html#bigframes.bigquery.ml.create_model
ml.create_model(
    your_model_id,  # For example: "bqml_tutorial.mf_explicit"
    options={
        "model_type": "MATRIX_FACTORIZATION",
        "feedback_type": "EXPLICIT",
        "user_col": "user_id",
        "item_col": "item_id",
        "rating_col": "rating",
        "l2_reg": 9.83,
        "num_factors": 34,
    },
    training_data=bq_df,
    replace=True,
)

程式碼約需 10 分鐘才能完成，完成後，mf_explicit 模型會顯示在「Explorer」窗格中。

取得訓練統計資料

您也可以在Google Cloud 控制台查看模型的訓練統計資料。

機器學習演算法會使用不同參數，建立多個模型疊代，然後選取損失最低的模型版本。這項程序稱為經驗風險最小化。模型的訓練統計資料會顯示與模型各疊代相關聯的損失。

請按照下列步驟查看模型的訓練統計資料：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」
點選左側窗格中的「Explorer」。

如果沒有看到左側窗格，請按一下「Expand left pane」(展開左側窗格)，開啟窗格。
在「Explorer」窗格中展開專案，依序點選「Datasets」(資料集) 和「bqml_tutorial」資料集。
點按「模型」分頁標籤。
依序點選「mf_explicit」模型和「訓練」分頁標籤

在「檢視方式」部分，按一下「表格」。結果應大致如下：

+-----------+--------------------+--------------------+
| Iteration | Training Data Loss | Duration (seconds) |
+-----------+--------------------+--------------------+
|  11       | 0.3943             | 42.59              |
+-----------+--------------------+--------------------+
|  10       | 0.3979             | 27.37              |
+-----------+--------------------+--------------------+
|   9       | 0.4038             | 40.79              |
+-----------+--------------------+--------------------+
|  ...      | ...                | ...                |
+-----------+--------------------+--------------------+

「Training Data Loss」(訓練資料損失) 欄代表模型訓練後計算出的損失指標。由於這是矩陣分解模型，因此這個資料欄會顯示均方誤差。

您也可以使用 ML.TRAINING_INFO 函式查看模型訓練統計資料。

評估模型

比較模型傳回的預測電影評分，以及訓練資料中的實際使用者電影評分，評估模型效能。

SQL

使用 ML.EVALUATE 函式評估模型：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」

在查詢編輯器中貼上以下查詢，然後點選「執行」：

SELECT
*
FROM
ML.EVALUATE(
  MODEL `bqml_tutorial.mf_explicit`,
  (
    SELECT
      user_id,
      item_id,
      rating
    FROM
      `bqml_tutorial.ratings`
  ));

結果應大致如下：

+---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
| mean_absolute_error | mean_squared_error  | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
+---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
| 0.48494444327829156 | 0.39433706592870565 |   0.025437895793637522 |   0.39017059802629905 | 0.6840033369412044 | 0.6840033369412264 |
+---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+

評估結果中的重要指標是 R² 分數。R² 分數是統計測量數，可判斷線性迴歸預測是否接近實際資料。如果值為 0，表示模型無法解釋回應資料在平均值附近的變異性。如果值為 1，表示模型可解釋平均值附近的所有回應資料變異。

如要進一步瞭解 ML.EVALUATE 函式輸出內容，請參閱「輸出內容」。

您也可以呼叫 ML.EVALUATE，而不提供輸入資料。系統會使用訓練期間計算的評估指標。

BigQuery DataFrames

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定 ADC」。

使用 bigframes.bigquery.ml.evaluate 函式評估模型。

import bigframes.pandas as bpd
from bigframes.bigquery import ml

# Set partial ordering mode for BigQuery DataFrames.
# For more information, see the BigQuery DataFrames performance documentation:
# https://cloud.google.com/bigquery/docs/dataframes-performance#partial-ordering-mode
bpd.options.bigquery.ordering_mode = "partial"

# For more information, see the BigQuery DataFrames API reference documentation:
# https://dataframes.bigquery.dev/reference/api/bigframes.bigquery.ml.evaluate.html#bigframes.bigquery.ml.evaluate
ml.evaluate(
    your_model_id,  # For example: "bqml_tutorial.mf_explicit"
    input_=bq_df,
)
# Output:
# mean_absolute_error	mean_squared_error	mean_squared_log_error	median_absolute_error	r2_score	explained_variance
# 0.485403	                0.395052	        0.025515	            0.390573	        0.68343	        0.68343

取得部分使用者與項目組合的預測評分

取得五位使用者對每部電影的預測評分。

SQL

使用 ML.RECOMMEND 函式取得預測評分：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」

在查詢編輯器中貼上以下查詢，然後點選「執行」：

SELECT
*
FROM
ML.RECOMMEND(
  MODEL `bqml_tutorial.mf_explicit`,
  (
    SELECT
      user_id
    FROM
      `bqml_tutorial.ratings`
    LIMIT 5
  ));

結果應大致如下：

+--------------------+---------+---------+
| predicted_rating   | user_id | item_id |
+--------------------+---------+---------+
| 4.2125303962491873 | 4       | 3169    |
+--------------------+---------+---------+
| 4.8068920531981263 | 4       | 3739    |
+--------------------+---------+---------+
| 3.8742203494732403 | 4       | 3574    |
+--------------------+---------+---------+
| ...                | ...     | ...     |
+--------------------+---------+---------+

BigQuery DataFrames

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定 ADC」。

使用 bigframes.bigquery.ml.recommend 函式取得預測評分。

import bigframes.pandas as bpd
from bigframes.bigquery import ml

# Set partial ordering mode for BigQuery DataFrames.
# For more information, see the BigQuery DataFrames performance documentation:
# https://cloud.google.com/bigquery/docs/dataframes-performance#partial-ordering-mode
bpd.options.bigquery.ordering_mode = "partial"

users = bpd.read_gbq("bqml_tutorial.ratings", columns=["user_id"], max_results=5)

# For more information, see the BigQuery DataFrames API reference documentation:
# https://dataframes.bigquery.dev/reference/api/bigframes.bigquery.ml.recommend.html#bigframes.bigquery.ml.recommend
ml.recommend(
    your_model_id,  # For example: "bqml_tutorial.mf_explicit"
    input_=users,
)
# Output:
#    predicted_rating  user_id  item_id
# 0           4.07996        4       78
# 1          3.564276        4      105
# 2          3.132776        4      153
# 3          3.272374        4      156
# 4          2.704864        4      192
# ...

生成建議

使用預測評分，為每位使用者產生前五名推薦電影。

SQL

請按照下列步驟產生建議：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」

將預測評分寫入資料表。在查詢編輯器中，貼上以下查詢，然後點選「Run」(執行)：

CREATE OR REPLACE TABLE `bqml_tutorial.recommend`
AS
SELECT
*
FROM
ML.RECOMMEND(MODEL `bqml_tutorial.mf_explicit`);

將預測評分與電影資訊結合，並選取每位使用者前五名的結果。在查詢編輯器中，貼上以下查詢，然後點選「Run」(執行)：

  SELECT
    user_id,
    ARRAY_AGG(STRUCT(movie_title, genre, predicted_rating) ORDER BY predicted_rating DESC LIMIT 5)
  FROM
    (
      SELECT
        user_id,
        item_id,
        predicted_rating,
        movie_title,
        genre
      FROM
        `bqml_tutorial.recommend`
      JOIN
        `bqml_tutorial.movies`
        ON
          item_id = movie_id
    )
  GROUP BY
    user_id;

結果應大致如下：

  +---------+-------------------------------------+------------------------+--------------------+
  | user_id | f0_movie_title                      | f0_genre               | predicted_rating   |
  +---------+-------------------------------------+------------------------+--------------------+
  | 4597    | Song of Freedom (1936)              | Drama                  | 6.8495752907364009 |
  |         | I Went Down (1997)                  | Action/Comedy/Crime    | 6.7203235758772877 |
  |         | Men With Guns (1997)                | Action/Drama           | 6.399407352232001  |
  |         | Kid, The (1921)                     | Action                 | 6.1952890198126731 |
  |         | Hype! (1996)                        | Documentary            | 6.1895766097451475 |
  +---------+-------------------------------------+------------------------+--------------------+
  | 5349    | Fandango (1985)                     | Comedy                 | 9.944574012151549  |
  |         | Breakfast of Champions (1999)       | Comedy                 | 9.55661860430112   |
  |         | Funny Bones (1995)                  | Comedy                 | 9.52778917835076   |
  |         | Paradise Road (1997)                | Drama/War              | 9.1643621767929133 |
  |         | Surviving Picasso (1996)            | Drama                  | 8.807353289233772  |
  +---------+-------------------------------------+------------------------+--------------------+
  | ...     | ...                                 | ...                    | ...                |
  +---------+-------------------------------------+------------------------+--------------------+

BigQuery DataFrames

如要向 BigQuery 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定 ADC」。

使用 bigframes.bigquery.ml.recommend 函式取得預測評分，然後與電影資訊彙整，選出每位使用者的前五名結果。

import bigframes.pandas as bpd
from bigframes.bigquery import ml

# Set partial ordering mode for BigQuery DataFrames.
# For more information, see the BigQuery DataFrames performance documentation:
# https://cloud.google.com/bigquery/docs/dataframes-performance#partial-ordering-mode
bpd.options.bigquery.ordering_mode = "partial"

# For more information, see the BigQuery DataFrames API reference documentation:
# https://dataframes.bigquery.dev/reference/api/bigframes.bigquery.ml.recommend.html#bigframes.bigquery.ml.recommend
recommendations = ml.recommend(
    your_model_id,  # For example: "bqml_tutorial.mf_explicit"
)

# Load movies
movies = bpd.read_gbq("bqml_tutorial.movies")

# Merge the movies df with the recommendations df
merged_df = bpd.merge(
    recommendations, movies, left_on="item_id", right_on="movie_id"
)

# Get the top 5 recommended movies for each user
top_movies = (
    merged_df.sort_values(
        by=["user_id", "predicted_rating"], ascending=[True, False]
    )
    .groupby("user_id")
    .head(5)
)
top_movies[["user_id", "movie_title", "genre", "predicted_rating"]]
# Output:
# 	            movie_title	                genre	        predicted_rating
# user_id
#   1	    Saving Private Ryan (1998)	Action|Drama|War	    5.19326
#   1	        Fargo (1996)	       Crime|Drama|Thriller	    4.996954
#   1	    Driving Miss Daisy (1989)	    Drama	            4.983671
#   1	        Ben-Hur (1959)	       Action|Adventure|Drama	4.877622
#   1	     Schindler's List (1993)	   Drama|War	        4.802336
#   2	    Saving Private Ryan (1998)	Action|Drama|War	    5.19326
#   2	        Braveheart (1995)	    Action|Drama|War	    5.174145
#   2	        Gladiator (2000)	      Action|Drama	        5.066372
#   2	        On Golden Pond (1981)	     Drama	            5.01198
#   2	    Driving Miss Daisy (1989)	     Drama	            4.983671

清除所用資源

為避免因為本教學課程所用資源，導致系統向 Google Cloud 帳戶收取費用，請刪除含有相關資源的專案，或者保留專案但刪除個別資源。

您可以刪除建立的專案。
或者您可以保留專案並刪除資料集。

刪除資料集

刪除專案將移除專案中所有的資料集與資料表。若您希望重新使用專案，您可以刪除本教學課程中所建立的資料集。

如有需要，請在 Google Cloud 控制台開啟 BigQuery 頁面。

前往「BigQuery」頁面
在導覽窗格中，按一下您建立的 bqml_tutorial 資料集。
按一下視窗右側的「刪除資料集」。這個動作將會刪除資料集、資料表，以及所有資料。
在「Delete dataset」(刪除資料集) 對話方塊中，輸入資料集名稱 (bqml_tutorial) 來確認刪除指令，然後點選「Delete」(刪除)。

刪除專案

如要刪除專案，請進行以下操作：

前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。
前往「Manage resources」(管理資源)
在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

後續步驟

嘗試根據隱含回饋建立矩陣分解模型。
如需 BigQuery ML 的總覽，請參閱 BigQuery ML 簡介。
如要進一步瞭解機器學習，請參閱機器學習密集課程。

使用矩陣分解模型，根據明確意見回饋建立建議 透過集合功能整理內容 你可以依據偏好儲存及分類內容。

目標

費用

事前準備

所需權限

建立資料集

控制台

bq

API

BigQuery DataFrames

上傳 Movielens 資料

CLI

BigQuery DataFrames

建立模型

SQL

BigQuery DataFrames

取得訓練統計資料

評估模型

SQL

BigQuery DataFrames

取得部分使用者與項目組合的預測評分

SQL

BigQuery DataFrames

生成建議

SQL

BigQuery DataFrames

清除所用資源

刪除資料集

刪除專案

後續步驟

使用矩陣分解模型，根據明確意見回饋建立建議