The post Google Colab – Cài đặt thư viện ML appeared first on Dongthoigian.
]]>Để cài đặt Keras, sử dụng lệnh sau –
!pip install -q keras
PyTorch lý tưởng để phát triển các ứng dụng học sâu. Nó là một thư viện tensor được tối ưu hóa và hỗ trợ GPU. Để cài đặt PyTorch, hãy sử dụng lệnh sau –
!pip3 install torch torchvision
Apache MxNet là một thư viện linh hoạt và hiệu quả khác dành cho deep learning. Để cài đặt MxNet, thực hiện các lệnh sau –
!apt install libnvrtc8.0
!pip install mxnet-cu80
OpenCV là thư viện thị giác máy tính mã nguồn mở để phát triển các ứng dụng học máy. Nó có hơn 2500 thuật toán được tối ưu hóa hỗ trợ một số ứng dụng như nhận dạng khuôn mặt, xác định đối tượng, theo dõi đối tượng chuyển động, ghép hình ảnh, v.v. Những gã khổng lồ như Google, Yahoo, Microsoft, Intel, IBM, Sony, Honda, Toyota đều sử dụng thư viện này. Điều này rất phù hợp để phát triển các ứng dụng thị giác thời gian thực.
Để cài đặt OpenCV, sử dụng lệnh sau –
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
XGBoost là thư viện tăng cường độ dốc phân tán chạy trên các môi trường phân tán chính như Hadoop. Nó có hiệu quả cao, linh hoạt và di động. Nó triển khai các thuật toán ML trong khuôn khổ Tăng cường độ dốc.
Để cài đặt XGBoost, hãy sử dụng lệnh sau –
!pip install -q xgboost==0.4a30
Graphviz là một phần mềm mã nguồn mở để hiển thị đồ thị. Nó được sử dụng để trực quan hóa trong mạng, tin sinh học, thiết kế cơ sở dữ liệu và cho vấn đề đó trong nhiều lĩnh vực cần có giao diện trực quan của dữ liệu.
Để cài đặt GraphViz, hãy sử dụng lệnh sau –
!apt-get -qq install -y graphviz && pip install -q pydot
Đến lúc này, bạn đã học cách tạo sổ ghi chép Jupyter chứa các thư viện máy học phổ biến. Bây giờ bạn đã sẵn sàng để phát triển các mô hình học máy của mình. Điều này đòi hỏi sức mạnh xử lý cao. Colab cung cấp GPU miễn phí cho máy tính xách tay của bạn. Trong chương tiếp theo, chúng ta sẽ tìm hiểu cách bật GPU cho máy tính xách tay của bạn.
Google cung cấp việc sử dụng GPU miễn phí cho sổ ghi chép Colab của bạn.
Để bật GPU trong sổ ghi chép của bạn, hãy chọn các tùy chọn menu sau –
Runtime / Change runtime type Bạn sẽ thấy màn hình sau đây là đầu ra
Chọn GPU và máy tính xách tay của bạn sẽ sử dụng GPU miễn phí được cung cấp trên đám mây trong quá trình xử lý. Để cảm nhận được quá trình xử lý GPU, hãy thử chạy ứng dụng mẫu từ hướng dẫn MNIST mà bạn đã sao chép trước đó.
!python3 "/content/drive/My Drive/app/mnist_cnn.py"
Hãy thử chạy cùng một tệp Python mà không bật GPU. Bạn có nhận thấy sự khác biệt về tốc độ thực hiện không?
Bạn có thể dễ dàng kiểm tra xem GPU có được bật hay không bằng cách thực thi đoạn mã sau
import tensorflow as tf
tf.test.gpu_device_name()
Nếu GPU được bật, nó sẽ cung cấp đầu ra sau –
‘/device:GPU:0’
Nếu bạn tò mò muốn biết các thiết bị được sử dụng trong quá trình thực thi sổ ghi chép của mình trên đám mây, hãy thử đoạn mã sau –
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
Bạn sẽ thấy kết quả như sau:
[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality { }
incarnation: 1734904979049303143, name: "/device:XLA_CPU:0"
device_type: "XLA_CPU" memory_limit: 17179869184
locality { }
incarnation: 16069148927281628039
physical_device_desc: "device: XLA_CPU device", name: "/device:XLA_GPU:0"
device_type: "XLA_GPU"
memory_limit: 17179869184
locality { }
incarnation: 16623465188569787091
physical_device_desc: "device: XLA_GPU device", name: "/device:GPU:0"
device_type: "GPU"
memory_limit: 14062547764
locality {
bus_id: 1
links { }
}
incarnation: 6674128802944374158
physical_device_desc: "device: 0, name: Tesla T4, pci bus id: 0000:00:04.0, compute capability: 7.5"]
Để xem tài nguyên bộ nhớ có sẵn cho quy trình của bạn, hãy gõ lệnh sau –
!cat /proc/meminfo
Bạn sẽ thấy kết quả sau
MemTotal: 13335276 kB
MemFree: 7322964 kB
MemAvailable: 10519168 kB
Buffers: 95732 kB
Cached: 2787632 kB
SwapCached: 0 kB
Active: 2433984 kB
Inactive: 3060124 kB
Active(anon): 2101704 kB
Inactive(anon): 22880 kB
Active(file): 332280 kB
Inactive(file): 3037244 kB
Unevictable: 0 kB
Mlocked: 0 kB
SwapTotal: 0 kB
SwapFree: 0 kB
Dirty: 412 kB
Writeback: 0 kB
AnonPages: 2610780 kB
Mapped: 838200 kB
Shmem: 23436 kB
Slab: 183240 kB
SReclaimable: 135324 kB
SUnreclaim: 47916
kBKernelStack: 4992 kB
PageTables: 13600 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 6667636 kB
Committed_AS: 4801380 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 0 kB
VmallocChunk: 0 kB
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
ShmemPmdMapped: 0 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 303092 kB
DirectMap2M: 5988352 kB
DirectMap1G: 9437184 kB
Google Colab là một nền tảng mạnh mẽ để học và phát triển nhanh các mô hình học máy bằng Python. Nó dựa trên sổ ghi chép Jupyter và hỗ trợ phát triển hợp tác. Các thành viên trong nhóm có thể chia sẻ và đồng thời chỉnh sửa sổ ghi chép, thậm chí từ xa. Các sổ ghi chép cũng có thể được xuất bản trên GitHub và chia sẻ với công chúng. Colab hỗ trợ nhiều thư viện ML phổ biến như PyTorch, TensorFlow, Keras và OpenCV. Hạn chế tính đến thời điểm hiện tại là nó chưa hỗ trợ R hoặc Scala. Ngoài ra còn có giới hạn về phiên và kích thước. Xem xét những lợi ích, đây là những hy sinh nhỏ mà người ta cần phải thực hiện.
The post Google Colab – Cài đặt thư viện ML appeared first on Dongthoigian.
]]>The post Google Colab – Thêm biểu mẫu appeared first on Dongthoigian.
]]>Trong bài học trước, bạn đã sử dụng đoạn mã sau để tạo độ trễ thời gian
import time
print(time.ctime())
time.sleep(5)
print (time.ctime())
Giả sử bạn muốn độ trễ thời gian do người dùng đặt thay vì độ trễ cố định là 5 giây. Đối với điều này, bạn có thể thêm Biểu mẫu vào ô Mã để chấp nhận thời gian ngủ. Mở một cuốn sổ mới. Nhấp vào menu Tùy chọn (chấm dọc). Một menu bật lên hiển thị như trong ảnh chụp màn hình bên dưới
Bây giờ, chọn tùy chọn Thêm biểu mẫu. Nó sẽ thêm biểu mẫu vào ô Mã của bạn với tiêu đề Mặc định như trong ảnh chụp màn hình ở đây –
Để thay đổi tiêu đề của biểu mẫu, hãy nhấp vào nút Cài đặt (biểu tượng bút chì ở bên phải). Nó sẽ bật lên một màn hình cài đặt như hiển thị ở đây:
Thay đổi tiêu đề biểu mẫu thành “Biểu mẫu” và lưu biểu mẫu. Bạn có thể sử dụng một số tên khác theo sự lựa chọn của bạn. Lưu ý rằng nó thêm @title vào ô mã của bạn.
Bạn có thể khám phá các tùy chọn khác trên màn hình trên sau. Trong phần tiếp theo, chúng ta sẽ tìm hiểu cách thêm trường nhập vào biểu mẫu.
Để thêm trường biểu mẫu, hãy nhấp vào menu Tùy chọn trong ô Mã, nhấp vào Biểu mẫu để hiển thị các menu con. Màn hình sẽ trông như hình bên dưới
Chọn Thêm tùy chọn menu trường biểu mẫu. Một hộp thoại bật lên như được thấy ở đây
Để lại loại trường Biểu mẫu để nhập . Thay đổi Tên biến thành thời gian ngủ và đặt Loại biến thành số nguyên . Lưu các thay đổi bằng cách nhấp vào nút Lưu .
Màn hình của bạn bây giờ sẽ trông như sau với biến thời gian ngủ được thêm vào mã.
Tiếp theo, chúng ta hãy xem cách kiểm tra biểu mẫu bằng cách thêm một số mã sử dụng biến thời gian ngủ .
Thêm một ô Mã mới bên dưới ô biểu mẫu. Sử dụng mã được đưa ra dưới đây
import time
print(time.ctime())
time.sleep(sleeptime)
print (time.ctime())
Bạn đã sử dụng mã này trong bài học trước. Nó in thời gian hiện tại, đợi một khoảng thời gian nhất định và in dấu thời gian mới. Lượng thời gian mà chương trình chờ được đặt trong biến có tên là sleeptime .
Bây giờ, hãy quay lại Ô Biểu mẫu và nhập giá trị 2 cho thời gian ngủ . Chọn menu sau –
Runtime / Run all
Điều này chạy toàn bộ máy tính xách tay. Bạn có thể thấy một màn hình đầu ra như hình dưới đây.
Lưu ý rằng nó đã lấy giá trị đầu vào của bạn là 2 cho
sleeptime
. Hãy thử thay đổi giá trị này thành một giá trị khác và Chạy tất cả để xem tác dụng của nó.
Để chấp nhận nội dung nhập văn bản trong biểu mẫu của bạn, hãy nhập mã sau vào ô mã mới.
name = 'dongthoigian' #@param {type:"string"}
print(name)
Bây giờ, nếu bạn chạy ô Mã, bất kỳ tên nào bạn đặt trong biểu mẫu sẽ được in trên màn hình. Theo mặc định, đầu ra sau sẽ xuất hiện trên màn hình. dongthoigian
Lưu ý rằng bạn có thể sử dụng các tùy chọn menu như được hiển thị cho kiểu nhập số nguyên để tạo trường nhập Văn bản .
Để thêm danh sách thả xuống vào biểu mẫu của bạn, hãy sử dụng đoạn mã sau
color = 'green' #@param ["red", "green", "blue"]
print(color)
Điều này tạo ra một danh sách thả xuống có ba giá trị – đỏ, lục và lam. Lựa chọn mặc định là màu xanh lá cây. Danh sách thả xuống được hiển thị trong ảnh chụp màn hình bên dưới
Colab Form cho phép bạn chấp nhận ngày tháng trong mã của mình bằng các xác thực. Sử dụng mã sau để nhập ngày vào mã của bạn.
#@title Date fields
date_input = '2022-06-03' #@param {type:"date"}
print(date_input)
Màn hình Biểu mẫu trông như sau.
Hãy thử nhập sai giá trị ngày và quan sát quá trình xác thực. Cho đến nay, bạn đã tìm hiểu cách sử dụng Colab để tạo và thực thi sổ ghi chép Jupyter bằng mã Python của mình.
The post Google Colab – Thêm biểu mẫu appeared first on Dongthoigian.
]]>The post Google Colab – Đồ họa appeared first on Dongthoigian.
]]>y = np.random.randn(100)
x = [x for x in range(len(y))]
plt.plot(x, y, '-')
plt.fill_between(x, y, 200, where = (y > 195), facecolor='g', alpha=0.6)
plt.title("Sample Plot")
plt.show()
Bây giờ, nếu bạn chạy mã, bạn sẽ thấy kết quả sau:
Lưu ý rằng đầu ra đồ họa được hiển thị trong phần đầu ra của ô Mã. Tương tự như vậy, bạn sẽ có thể tạo và hiển thị một số loại biểu đồ trong toàn bộ mã chương trình của mình. Bây giờ, khi bạn đã làm quen với những kiến thức cơ bản về Colab, chúng ta hãy chuyển sang các tính năng trong Colab giúp bạn phát triển mã Python dễ dàng hơn.
Các nhà phát triển ngày nay phụ thuộc rất nhiều vào sự trợ giúp theo ngữ cảnh đối với cú pháp ngôn ngữ và thư viện. Đó là lý do tại sao IDE được sử dụng rộng rãi. Trình chỉnh sửa sổ tay Colab cung cấp tiện ích này.
Trong chương này, chúng ta hãy xem cách yêu cầu trợ giúp theo ngữ cảnh khi viết mã Python trong Colab. Thực hiện theo các bước đã được đưa ra khi cần thiết.
Bước 1 – Mở một sổ ghi chép mới và nhập đoạn mã sau vào ô Mã –
import torch
Bước 2 – Chạy mã bằng cách nhấp vào biểu tượng Chạy ở bảng bên trái của ô Mã. Thêm một ô Mã khác và nhập mã sau đây –
Tensor = torch. Tại thời điểm này, giả sử bạn đã quên các chức năng khác nhau có sẵn trong mô-đun đèn pin là gì . Bạn có thể yêu cầu trợ giúp theo ngữ cảnh về tên hàm bằng cách nhấn phím TAB . Lưu ý sự hiện diện của DOT sau từ khóa ngọn đuốc . Nếu không có DOT này, bạn sẽ không thấy trợ giúp về ngữ cảnh. Màn hình của bạn sẽ trông giống như trong ảnh chụp màn hình ở đây
Bây giờ, hãy chọn chức năng mong muốn từ danh sách và tiến hành mã hóa.
Colab cung cấp cho bạn tài liệu về bất kỳ hàm hoặc lớp nào dưới dạng trợ giúp phù hợp với ngữ cảnh.
Nhập mã sau vào cửa sổ mã của bạn –
Tensor = torch.cos( Bây giờ, nhấn TAB và bạn sẽ thấy tài liệu về cos trong cửa sổ bật lên như trong ảnh chụp màn hình ở đây. Lưu ý là bạn cần gõ dấu ngoặc đơn mở trước khi nhấn TAB
Trong chương tiếp theo, chúng ta sẽ thấy các Magics trong Colab cho phép chúng ta làm những việc mạnh mẽ hơn những gì chúng ta đã làm với bí danh hệ thống.
Magics là một tập hợp các lệnh hệ thống cung cấp ngôn ngữ lệnh mở rộng nhỏ.
Phép thuật có hai loại –
Phép thuật dòng như tên gọi chỉ ra rằng nó bao gồm một dòng lệnh duy nhất, trong khi phép thuật ô bao phủ toàn bộ phần thân của ô mã.
Trong trường hợp phép thuật dòng, lệnh được thêm vào trước một ký tự % duy nhất và trong trường hợp phép thuật ô, nó được thêm vào trước hai ký tự % (%%).
Chúng ta hãy xem xét một số ví dụ của cả hai để minh họa những điều này.
Nhập mã sau vào ô mã của bạn –
%ldir
Bạn sẽ thấy nội dung của thư mục cục bộ của mình, đại loại như thế này
drwxr-xr-x 3 root 4096 Jun 20 10:05 drive/
drwxr-xr-x 1 root 4096 May 31 16:17 sample_data/
Hãy thử lệnh sau –
%history
Phần này trình bày toàn bộ lịch sử các lệnh mà bạn đã thực hiện trước đó.
Nhập mã sau vào ô mã của bạn
%%html
<marquee style='width: 50%; color: Green;'>Welcome to dongthoigian!</marquee>
Bây giờ, nếu bạn chạy mã và bạn sẽ thấy thông báo chào mừng cuộn trên màn hình như hiển thị ở đây
Đoạn mã sau sẽ thêm SVG vào tài liệu của bạn.
%%html
<svg xmlns="https://www.w3.org/2000/svg" viewBox="0 0 600 400" width="400" height="400">
<rect x="10" y="00" width="300" height="100" rx="0" style="fill:orange; stroke:black; fill-opacity:1.0" />
<rect x="10" y="100" width="300" height="100" rx="0" style="fill:white; stroke:black; fill-opacity:1.0;" />
<rect x="10" y="200" width="300" height="100" rx="0" style="fill:green; stroke:black; fill-opacity:1.0;" />
</svg>
Nếu bạn chạy mã, bạn sẽ thấy kết quả sau:
Để có danh sách đầy đủ các phép thuật được hỗ trợ, hãy thực hiện lệnh sau –
%lsmagic
Bạn sẽ thấy kết quả sau:
Available line magics:
%alias %alias_magic %autocall %automagic %autosave %bookmark %cat %cd %clear
%colors %config %connect_info %cp %debug %dhist %dirs %doctest_mode %ed %edit
%env %gui %hist %history %killbgscripts %ldir %less %lf %lk %ll %load %load_ext
%loadpy %logoff %logon %logstart %logstate %logstop %ls %lsmagic %lx %macro
%magic %man %matplotlib %mkdir %more %mv %notebook %page %pastebin %pdb %pdef
%pdoc %pfile %pinfo %pinfo2 %pip %popd %pprint %precision %profile %prun
%psearch %psource %pushd %pwd %pycat %pylab %qtconsole %quickref %recall
%rehashx %reload_ext %rep %rerun %reset %reset_selective %rm %rmdir %run %save
%sc %set_env %shell %store %sx %system %tb %tensorflow_version %time %timeit
%unalias %unload_ext %who %who_ls %whos %xdel %xmode
Available cell magics:
%%! %%HTML %%SVG %%bash %%bigquery %%capture %%debug %%file %%html %%javascript
%%js %%latex %%perl %%prun %%pypy %%python %%python2 %%python3 %%ruby %%script
%%sh %%shell %%svg %%sx %%system %%time %%timeit %%writefile
Automagic is ON, % prefix IS NOT needed for line magics.
The post Google Colab – Đồ họa appeared first on Dongthoigian.
]]>The post Thực thi các tệp Python bên ngoài appeared first on Dongthoigian.
]]>Tools / Command palette Bạn sẽ thấy danh sách các lệnh như trong ảnh chụp màn hình này
Nhập một vài chữ cái như “m” vào hộp tìm kiếm để tìm lệnh mount. Chọn lệnh Mount Drive từ danh sách. Đoạn mã sau sẽ được chèn vào ô Mã của bạn.
# Run this cell to mount your Google Drive.
from google.colab import drive
drive.mount('/content/drive')
Nếu bạn chạy mã này, bạn sẽ được yêu cầu nhập mã xác thực. Màn hình tương ứng trông như dưới đây
Mở URL trên trong trình duyệt của bạn. Bạn sẽ được yêu cầu đăng nhập vào tài khoản Google của mình. Bây giờ, bạn sẽ thấy màn hình sau
Nếu bạn cấp quyền, bạn sẽ nhận được mã của mình như sau
Cắt và dán mã này vào ô Mã và nhấn ENTER. Sau một thời gian, ổ đĩa sẽ được gắn kết như trong ảnh chụp màn hình bên dưới
Bây giờ, bạn đã sẵn sàng sử dụng nội dung trong ổ đĩa của mình trong Colab.
Bạn có thể liệt kê nội dung của ổ đĩa bằng lệnh ls như sau –
!ls “/content/drive/My Drive/Colab Notebooks”
Lệnh này sẽ liệt kê nội dung của thư mục Colab Notebooks của bạn. Đầu ra mẫu của nội dung ổ đĩa của tôi được hiển thị ở đây
Bây giờ, giả sử bạn muốn chạy tệp Python có tên hello.py được lưu trữ trong Google Drive của bạn. Nhập lệnh sau vào ô Mã –
!python3 “/content/drive/My Drive/Colab Notebooks/hello.py”
Nội dung của hello.py được đưa ra ở đây để bạn tham khảo:
print(“Welcome to dongthoigian!”)
Bây giờ bạn sẽ thấy kết quả sau:
Welcome to dongthoigian!
The post Thực thi các tệp Python bên ngoài appeared first on Dongthoigian.
]]>The post Google Colab – Sổ tay chia sẻ appeared first on Dongthoigian.
]]>Để xuất bản sổ ghi chép tới đối tượng chung, bạn có thể chia sẻ sổ ghi chép đó từ kho lưu trữ GitHub của mình. Có một cách nữa để chia sẻ công việc của bạn đó là nhấp vào liên kết chia sẻ ở góc trên cùng bên phải của sổ ghi chép Colab của bạn. Thao tác này sẽ mở hộp chia sẻ như hiển thị ở đây
Bạn có thể nhập ID email của những người mà bạn muốn chia sẻ tài liệu hiện tại. Bạn có thể đặt loại quyền truy cập bằng cách chọn từ ba tùy chọn hiển thị ở màn hình trên.
Nhấp vào tùy chọn Nhận liên kết có thể chia sẻ để lấy URL của sổ ghi chép của bạn. Bạn sẽ tìm thấy các tùy chọn cho người chia sẻ như sau –
Hiện nay. bạn biết cách tạo/thực thi/lưu/chia sẻ sổ ghi chép. Trong ô Mã, chúng tôi đã sử dụng Python cho đến nay. Ô mã cũng có thể được sử dụng để gọi các lệnh hệ thống. Điều này sẽ được giải thích tiếp theo
Jupyter bao gồm các phím tắt cho nhiều thao tác hệ thống phổ biến. Ô Mã Colab hỗ trợ tính năng này.
Nhập mã sau vào ô Mã sử dụng lệnh echo của hệ thống.
message = ‘A Great Tutorial on Colab by dongthoigian!’
greeting = !echo -e ‘$message\n$message’
greeting
Bây giờ, nếu bạn chạy ô, bạn sẽ thấy kết quả sau:
[‘A Great Tutorial on Colab by dongthoigian!’, ‘A Great Tutorial on Colab by dongthoigian!’]
Chúng ta hãy xem xét một ví dụ khác tải tập dữ liệu từ máy chủ từ xa. Nhập lệnh sau vào ô Mã của bạn – !wget http://mlr.cs.umass.edu/ml/machine-learning-databases/adult/adult.data -P “/content/drive/My Drive/app”Nếu bạn chạy mã, bạn sẽ thấy kết quả sau:
--2019-06-20 10:09:53-- http://mlr.cs.umass.edu/ml/machine-learning-databases/adult/adult.data
Resolving mlr.cs.umass.edu (mlr.cs.umass.edu)... 128.119.246.96
Connecting to mlr.cs.umass.edu (mlr.cs.umass.edu)|128.119.246.96|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3974305 (3.8M) [text/plain]
Saving to: ‘/content/drive/My Drive/app/adult.data.1’
adult.data.1 100%[===================>] 3.79M 1.74MB/s in 2.2s
2019-06-20 10:09:56 (1.74 MB/s) - ‘/content/drive/My Drive/app/adult.data.1’ saved [3974305/3974305]
Như thông báo cho biết, tệp Adult.data.1 hiện đã được thêm vào ổ đĩa của bạn. Bạn có thể xác minh điều này bằng cách kiểm tra nội dung thư mục trên ổ đĩa của bạn. Ngoài ra, hãy nhập mã sau vào ô Mã mới
import pandas as pd
data = pd.read_csv("/content/drive/My Drive/app/adult.data.1")
data.head(5)
Tương tự như vậy, hầu hết các lệnh hệ thống có thể được gọi trong ô mã của bạn bằng cách thêm Dấu chấm than (!) vào trước lệnh đó. Chúng ta hãy xem xét một ví dụ khác trước khi đưa ra danh sách đầy đủ các lệnh mà bạn có thể gọi.
Bạn có thể sao chép toàn bộ kho lưu trữ GitHub vào Colab bằng lệnh git . Ví dụ: để sao chép hướng dẫn về máy ảnh, hãy nhập lệnh sau vào ô Mã
!git clone https://github.com
Sau khi chạy lệnh thành công, bạn sẽ thấy kết quả sau:
Cloning into 'keras-mnist-tutorial'...
remote: Enumerating objects: 26, done.
remote: Total 26 (delta 0), reused 0 (delta 0), pack-reused 26
Unpacking objects: 100% (26/26), done
Sau khi kho lưu trữ được sao chép, hãy tìm dự án Jupyter (ví dụ: MINST trong keras.ipyab) trong đó, nhấp chuột phải vào tên tệp và chọn tùy chọn menu Mở bằng / Hợp tác để mở dự án trong Colab.
Để có danh sách phím tắt cho các thao tác phổ biến, hãy thực hiện lệnh sau
!ls /bin
Bạn sẽ thấy danh sách trong cửa sổ đầu ra như bên dưới
bash* journalctl* sync*
bunzip2* kill* systemctl*
bzcat* kmod* systemd@
bzcmp@ less* systemd-ask-password*
bzdiff* lessecho* systemd-escape*
bzegrep@ lessfile@ systemd-hwdb*
bzexe* lesskey* systemd-inhibit*
bzfgrep@ lesspipe* systemd-machine-id-setup*
bzgrep* ln* systemd-notify*
bzip2* login* systemd-sysusers*
bzip2recover* loginctl* systemd-tmpfiles*
bzless@ ls* systemd-tty-ask-password-agent*
bzmore* lsblk* tar*
cat* lsmod@ tempfile*
chgrp* mkdir* touch*
chmod* mknod* true*
chown* mktemp* udevadm*
cp* more* ulockmgr_server*
dash* mount* umount*
date* mountpoint* uname*
dd* mv* uncompress*
df* networkctl* vdir*
dir* nisdomainname@ wdctl*
dmesg* pidof@ which*
dnsdomainname@ ps* ypdomainname@
domainname@ pwd* zcat*
echo* rbash@ zcmp*
egrep* readlink* zdiff*
false* rm* zegrep*
fgrep* rmdir* zfgrep*
findmnt* run-parts* zforce*
fusermount* sed* zgrep*
grep* sh@ zless*
gunzip* sh.distrib@ zmore*
gzexe* sleep* znew*
gzip* stty*
hostname* su*
Thực hiện bất kỳ lệnh nào trong số này như chúng tôi đã thực hiện cho echo và wget . Trong chương tiếp theo, chúng ta sẽ xem cách thực thi mã Python đã tạo trước đó của bạn.
The post Google Colab – Sổ tay chia sẻ appeared first on Dongthoigian.
]]>The post Google Colab – Ghi lại mã của bạn appeared first on Dongthoigian.
]]>Một ô văn bản chứa một số phương trình toán học thường được sử dụng trong ML được hiển thị trong ảnh chụp màn hình bên dưới –
Khi tiếp tục chương này, chúng ta sẽ thấy đoạn mã để tạo ra kết quả trên.
Ô văn bản được định dạng bằng cách sử dụng markdown – một ngôn ngữ đánh dấu đơn giản. Bây giờ chúng ta hãy xem cách thêm ô văn bản vào sổ ghi chép của bạn và thêm vào đó một số văn bản chứa các phương trình toán học.
Chúng ta hãy xem xét một số ví dụ về cú pháp ngôn ngữ đánh dấu để chứng minh khả năng của nó.
Nhập văn bản sau vào ô Văn bản. This is **bold**.This is *italic*.This is ~strikethrough~.Đầu ra của các lệnh trên được hiển thị ở phía bên phải của Ô như được hiển thị ở đây.
Thêm một ô văn bản vào sổ ghi chép của bạn và nhập cú pháp đánh dấu sau vào cửa sổ văn bản – $\sqrt{3x-1}+(1+x)^2$Bạn sẽ thấy mã đánh dấu hiển thị ngay lập tức ở bảng điều khiển bên phải của ô văn bản. Điều này được hiển thị trong ảnh chụp màn hình bên dưới
Nhấn Enter và mã đánh dấu biến mất khỏi ô văn bản và chỉ hiển thị kết quả đầu ra được hiển thị.
Chúng ta hãy thử một phương trình phức tạp hơn như được hiển thị ở đây – $e^x = \sum_{i = 0}^\infty \frac{1}{i!}x^i$
Kết quả đầu ra được hiển thị ở đây để bạn tham khảo nhanh.
Đây là mã cho các phương trình mẫu được hiển thị trong ảnh chụp màn hình trước đó
Constraints are
- $3x_1 + 6x_2 + x_3 =< 28$
- $7x_1 + 3x_2 + 2x_3 =< 37$
- $4x_1 + 5x_2 + 2x_3 =< 19$
- $x_1,x_2,x_3 >=0 $
The trial vector is calculated as follows:
- $u_i(t) = x_i(t) + \beta(\hat{x}(t) − x_i(t)) + \beta \sum_{k = 1}^{n_v}(x_{i1,k}(t) − x_{i2,k}(t))$
$f(x_1, x_2) = 20 + e - 20exp(-0.2 \sqrt {\frac {1}{n} (x_1^2 + x_2^2)}) - exp (\frac {1}{n}(cos(2\pi x_1) + cos(2\pi x_2))$
$x ∈ [-5, 5]$
>$A_{m,n} =
\begin{pmatrix}
a_{1,1} > a_{1,2} > \cdots > a_{1,n} \\
a_{2,1} > a_{2,2} > \cdots > a_{2,n} \\
\vdots > \vdots > \ddots > \vdots \\
a_{m,1} > a_{m,2} > \cdots > a_{m,n}
\end{pmatrix}$
Việc mô tả cú pháp đánh dấu đầy đủ nằm ngoài phạm vi của hướng dẫn này. Trong chương tiếp theo, chúng ta sẽ xem cách lưu tác phẩm của bạn.
Colab cho phép bạn lưu tác phẩm của mình vào Google Drive hoặc thậm chí trực tiếp vào kho lưu trữ GitHub.
Colab cho phép bạn lưu công việc của mình vào Google Drive. Để lưu sổ ghi chép của bạn, hãy chọn các tùy chọn menu sau – File / Save a copy in Drive…Bạn sẽ thấy màn hình sau
Hành động này sẽ tạo một bản sao sổ ghi chép của bạn và lưu nó vào ổ đĩa của bạn. Sau này bạn có thể đổi tên bản sao theo tên bạn chọn.
Bạn cũng có thể lưu tác phẩm của mình vào kho lưu trữ GitHub bằng cách chọn các tùy chọn menu sau – File / Save a copy in GitHub…Lựa chọn menu được hiển thị trong ảnh chụp màn hình sau để bạn tham khảo nhanh
Bạn sẽ phải đợi cho đến khi nhìn thấy màn hình đăng nhập vào GitHub.
Bây giờ, hãy nhập thông tin đăng nhập của bạn. Nếu bạn không có kho lưu trữ, hãy tạo một kho lưu trữ mới và lưu dự án của bạn như trong ảnh chụp màn hình bên dưới
The post Google Colab – Ghi lại mã của bạn appeared first on Dongthoigian.
]]>The post Google Colab – Sổ tay Colab đầu tiên của bạn appeared first on Dongthoigian.
]]>Lưu ý − Vì Colab ngầm sử dụng Google Drive để lưu trữ sổ ghi chép của bạn, hãy đảm bảo rằng bạn đã đăng nhập vào tài khoản Google Drive của mình trước khi tiếp tục.
Bước 1 − Mở URL sau trong trình duyệt của bạn − https://colab.research.google.com Trình duyệt của bạn sẽ hiển thị màn hình sau (giả sử rằng bạn đã đăng nhập vào Google Drive của mình)
Bước 2 – Nhấp vào liên kết SÁCH PYTHON 3 MỚI ở cuối màn hình. Một sổ ghi chép mới sẽ mở ra như minh họa trong màn hình bên dưới.
Như bạn có thể nhận thấy, giao diện sổ ghi chép khá giống với giao diện được cung cấp trong Jupyter. Có một cửa sổ mã để bạn nhập mã Python của mình.
Theo mặc định, sổ ghi chép sử dụng quy ước đặt tên UntitledXX.ipynb. Để đổi tên sổ ghi chép, nhấp vào tên này và nhập tên mong muốn vào hộp chỉnh sửa như hiển thị ở đây
Như bạn có thể nhận thấy, giao diện sổ ghi chép khá giống với giao diện được cung cấp trong Jupyter. Có một cửa sổ mã để bạn nhập mã Python của mình.
Theo mặc định, sổ ghi chép sử dụng quy ước đặt tên UntitledXX.ipynb. Để đổi tên sổ ghi chép, nhấp vào tên này và nhập tên mong muốn vào hộp chỉnh sửa như hiển thị ở đây
Chúng tôi sẽ gọi sổ ghi chép này là MyFirstColabNotebook . Vì vậy hãy nhập tên này vào hộp chỉnh sửa và nhấn ENTER. Sổ ghi chép sẽ có tên mà bạn đã đặt bây giờ.
Bây giờ bạn sẽ nhập một mã Python tầm thường vào cửa sổ mã và thực thi nó.
Nhập hai câu lệnh Python sau vào cửa sổ mã –
import time
print(time.ctime()
Để thực thi mã, nhấp vào mũi tên ở bên trái của cửa sổ mã.
Sau một thời gian, bạn sẽ thấy kết quả đầu ra bên dưới cửa sổ mã, như được hiển thị ở đây –
Mon Jun 17 05:58:40 2019
Bạn có thể xóa đầu ra bất cứ lúc nào bằng cách nhấp vào biểu tượng ở bên trái màn hình đầu ra.
Để thêm mã khác vào sổ ghi chép của bạn, hãy chọn các tùy chọn menu sau –
Insert / Code Cell Ngoài ra, chỉ cần di chuột vào giữa dưới cùng của ô Mã. Khi các nút CODE và TEXT xuất hiện, hãy nhấp vào CODE để thêm ô mới. Điều này được hiển thị trong ảnh chụp màn hình bên dưới
Một ô mã mới sẽ được thêm vào bên dưới ô hiện tại. Thêm hai câu lệnh sau vào cửa sổ mã mới tạo:
time.sleep(5)
print (time.ctime())
Bây giờ, nếu bạn chạy ô này, bạn sẽ thấy kết quả sau:
Mon Jun 17 04:50:27 2019
Chắc chắn thời gian chênh lệch giữa hai chuỗi thời gian không phải là 5 giây. Điều này là hiển nhiên vì bạn đã mất chút thời gian để chèn mã mới. Colab cho phép bạn chạy tất cả mã bên trong sổ ghi chép của mình mà không bị gián đoạn.
Để chạy toàn bộ mã trong sổ ghi chép của bạn mà không bị gián đoạn, hãy thực hiện các tùy chọn menu sau –
Runtime / Reset and run all… Nó sẽ cung cấp cho bạn kết quả như hiển thị bên dưới
Lưu ý rằng chênh lệch thời gian giữa hai đầu ra bây giờ chính xác là 5 giây.
Hành động trên cũng có thể được bắt đầu bằng cách thực hiện hai tùy chọn menu sau –
Runtime / Restart runtime…
hoặc
Runtime / Restart all runtimes…
Theo dõi bởi
Runtime / Run all
Nghiên cứu các tùy chọn menu khác nhau trong menu Runtime để làm quen với các tùy chọn khác nhau có sẵn để bạn thực thi sổ ghi chép.
Khi sổ ghi chép của bạn chứa một số lượng lớn các ô mã, bạn có thể gặp phải các tình huống mà bạn muốn thay đổi thứ tự thực hiện các ô này. Bạn có thể làm như vậy bằng cách chọn ô bạn muốn di chuyển và nhấp vào nút LÊN hoặc XUỐNG được hiển thị trong ảnh chụp màn hình sau
Bạn có thể bấm vào các nút nhiều lần để di chuyển ô đến nhiều vị trí.
Trong quá trình phát triển dự án, bạn có thể đã đưa vào một số ô hiện không còn mong muốn trong sổ ghi chép của mình. Bạn có thể xóa các ô như vậy khỏi dự án của mình một cách dễ dàng chỉ bằng một cú nhấp chuột. Nhấp vào biểu tượng chấm dọc ở góc trên cùng bên phải của ô mã của bạn.
Nhấp vào tùy chọn Xóa ô và ô hiện tại sẽ bị xóa. Bây giờ, khi bạn đã học cách chạy một sổ ghi chép thông thường, hãy cùng khám phá các tính năng khác của Colab.
The post Google Colab – Sổ tay Colab đầu tiên của bạn appeared first on Dongthoigian.
]]>The post Hướng dẫn cộng tác của Google appeared first on Dongthoigian.
]]>Hướng dẫn này cung cấp thông tin đầy đủ về tất cả các tính năng của Colab và giúp bạn cảm thấy thoải mái khi làm việc với Colab một cách tự tin.
Hướng dẫn này được chuẩn bị cho người mới bắt đầu để giúp họ hiểu các khái niệm từ cơ bản đến nâng cao liên quan đến Google Colab.
Trước khi bạn bắt đầu thực hành các loại ví dụ khác nhau được đưa ra trong hướng dẫn này, chúng tôi giả định rằng bạn đã biết về Jupyter, GitHub, kiến thức cơ bản về Python và các ngôn ngữ lập trình máy tính khác. Nếu chưa quen với bất kỳ nội dung nào trong số này, bạn nên chọn các hướng dẫn liên quan trước khi bắt tay vào học với Colab.
Google khá tích cực trong nghiên cứu AI. Trong nhiều năm, Google đã phát triển khung AI có tên TensorFlow và một công cụ phát triển có tên Colaboratory . Ngày nay TensorFlow có nguồn mở và kể từ năm 2017, Google đã cung cấp Colaboratory miễn phí cho công chúng sử dụng. Colaboratory hiện được gọi là Google Colab hoặc đơn giản là Colab .
Một tính năng hấp dẫn khác mà Google cung cấp cho các nhà phát triển là việc sử dụng GPU. Colab hỗ trợ GPU và hoàn toàn miễn phí. Những lý do để cung cấp nó miễn phí cho công chúng có thể là để biến phần mềm của nó trở thành một tiêu chuẩn trong giới học thuật về giảng dạy máy học và khoa học dữ liệu. Nó cũng có thể có tầm nhìn dài hạn trong việc xây dựng cơ sở khách hàng cho API Google Cloud được bán trên cơ sở mỗi lần sử dụng.
Bất kể lý do là gì, việc ra mắt Colab đã giúp việc học và phát triển các ứng dụng máy học trở nên dễ dàng hơn. Vì vậy, chúng ta hãy bắt đầu với Colab.
Nếu trước đây bạn đã sử dụng sổ ghi chép Jupyter , bạn sẽ nhanh chóng học cách sử dụng Google Colab. Nói chính xác, Colab là môi trường sổ ghi chép Jupyter miễn phí chạy hoàn toàn trên đám mây. Quan trọng nhất, nó không yêu cầu thiết lập và các thành viên trong nhóm của bạn có thể chỉnh sửa đồng thời các sổ ghi chép mà bạn tạo – giống như cách bạn chỉnh sửa tài liệu trong Google Docs. Colab hỗ trợ nhiều thư viện máy học phổ biến mà bạn có thể dễ dàng tải vào sổ tay của mình.
Là một lập trình viên, bạn có thể thực hiện những việc sau bằng Google Colab.
The post Hướng dẫn cộng tác của Google appeared first on Dongthoigian.
]]>The post Dự đoán về dữ liệu thử nghiệm appeared first on Dongthoigian.
]]>predictions = model.predict_classes(X_test)
Cuộc gọi phương thức trả về các dự đoán trong một vectơ có thể được kiểm tra 0 và 1 so với các giá trị thực. Điều này được thực hiện bằng cách sử dụng hai câu lệnh sau
correct_predictions = np.nonzero(predictions == y_test)[0]
incorrect_predictions = np.nonzero(predictions != y_test)[0]
Cuối cùng, chúng tôi sẽ in số lượng dự đoán đúng và sai bằng cách sử dụng hai câu lệnh chương trình sau
print(len(correct_predictions)," classified correctly")
print(len(incorrect_predictions)," classified incorrectly")
Khi bạn chạy mã, bạn sẽ nhận được đầu ra sau
9837 classified correctly
163 classified incorrectly
Bây giờ, khi bạn đã huấn luyện mô hình một cách thỏa đáng, chúng tôi sẽ lưu nó để sử dụng trong tương lai.
Chúng tôi sẽ lưu mô hình được đào tạo trong ổ đĩa cục bộ của chúng tôi trong thư mục mô hình trong thư mục làm việc hiện tại của chúng tôi. Để lưu mô hình, hãy chạy đoạn mã sau
directory = "./models/"
name = 'handwrittendigitrecognition.h5'
path = os.path.join(save_dir, name)
model.save(path)
print('Saved trained model at %s ' % path)
Đầu ra sau khi chạy mã được hiển thị bên dưới
Bây giờ, khi bạn đã lưu một mô hình được đào tạo, bạn có thể sử dụng nó sau này để xử lý dữ liệu chưa biết của mình.
Để dự đoán dữ liệu chưa xem, trước tiên bạn cần tải mô hình được đào tạo vào bộ nhớ. Điều này được thực hiện bằng cách sử dụng lệnh sau –
model = load_model (‘./models/handwrittendigitrecognition.h5’)
Lưu ý rằng chúng tôi chỉ tải tệp .h5 vào bộ nhớ. Điều này thiết lập toàn bộ mạng thần kinh trong bộ nhớ cùng với các trọng số được gán cho mỗi lớp. Bây giờ, để thực hiện các dự đoán của bạn trên dữ liệu chưa nhìn thấy, hãy tải dữ liệu, để nó là một hoặc nhiều mục, vào bộ nhớ. Xử lý trước dữ liệu để đáp ứng các yêu cầu đầu vào của mô hình của chúng tôi như những gì bạn đã làm đối với dữ liệu thử nghiệm và đào tạo ở trên. Sau khi tiền xử lý, hãy đưa nó vào mạng của bạn. Mô hình sẽ đưa ra dự đoán của nó
Keras cung cấp API cấp cao để tạo mạng lưới thần kinh sâu. Trong hướng dẫn này, bạn đã học cách tạo một mạng thần kinh sâu được đào tạo để tìm các chữ số trong văn bản viết tay. Một mạng nhiều lớp đã được tạo ra cho mục đích này. Máy ảnh cho phép bạn xác định chức năng kích hoạt mà bạn chọn ở mỗi lớp. Sử dụng giảm dần độ dốc, mạng đã được đào tạo trên dữ liệu đào tạo. Độ chính xác của mạng được đào tạo trong việc dự đoán dữ liệu chưa nhìn thấy đã được kiểm tra trên dữ liệu thử nghiệm. Bạn đã học cách vẽ biểu đồ các số liệu về độ chính xác và lỗi. Sau khi mạng được đào tạo đầy đủ, bạn đã lưu mô hình mạng để sử dụng trong tương lai.
The post Dự đoán về dữ liệu thử nghiệm appeared first on Dongthoigian.
]]>The post Deep Learning – Đào tạo người mẫu appeared first on Dongthoigian.
]]>history = model.fit(X_train, Y_train,
batch_size=128, epochs=20,
verbose=2,
validation_data=(X_test, Y_test)))
Hai tham số đầu tiên của phương thức phù hợp chỉ định các tính năng và đầu ra của tập dữ liệu huấn luyện.
Kỷ nguyên được đặt thành 20; chúng tôi giả định rằng quá trình đào tạo sẽ hội tụ trong tối đa 20 kỷ nguyên – các lần lặp lại. Mô hình được đào tạo được xác thực trên dữ liệu thử nghiệm như được chỉ định trong tham số cuối cùng. Đầu ra một phần của việc chạy lệnh trên được hiển thị ở đây
Train on 60000 samples, validate on 10000 samples
Epoch 1/20
- 9s - loss: 0.2488 - acc: 0.9252 - val_loss: 0.1059 - val_acc: 0.9665
Epoch 2/20
- 9s - loss: 0.1004 - acc: 0.9688 - val_loss: 0.0850 - val_acc: 0.9715
Epoch 3/20
- 9s - loss: 0.0723 - acc: 0.9773 - val_loss: 0.0717 - val_acc: 0.9765
Epoch 4/20
- 9s - loss: 0.0532 - acc: 0.9826 - val_loss: 0.0665 - val_acc: 0.9795
Epoch 5/20
- 9s - loss: 0.0457 - acc: 0.9856 - val_loss: 0.0695 - val_acc: 0.9792
Ảnh chụp màn hình của đầu ra được đưa ra bên dưới để bạn tham khảo nhanh
Đánh giá hiệu suất mô hình
Để đánh giá hiệu suất của mô hình, chúng tôi gọi phương thức đánh giá như sau –
loss_and_metrics = model.evaluate(X_test, Y_test, verbose=2)
Để đánh giá hiệu suất của mô hình, chúng tôi gọi phương thức đánh giá như sau –
loss_and_metrics = model.evaluate(X_test, Y_test, verbose=2)
Chúng tôi sẽ in tổn thất và độ chính xác bằng hai câu lệnh sau
print("Test Loss", loss_and_metrics[0])
print("Test Accuracy", loss_and_metrics[1])
Khi bạn chạy các câu lệnh trên, bạn sẽ thấy đầu ra sau – Test Loss 0.08041584826191042Test Accuracy 0.9837
Điều này cho thấy độ chính xác của thử nghiệm là 98%, chúng tôi có thể chấp nhận được. Điều đó có ý nghĩa gì đối với chúng tôi rằng trong 2% trường hợp, các chữ số viết tay sẽ không được phân loại chính xác. Chúng tôi cũng sẽ vẽ các số liệu về độ chính xác và tổn thất để xem mô hình hoạt động như thế nào trên dữ liệu thử nghiệm.
Chúng tôi sử dụng lịch sử được ghi lại trong quá trình đào tạo của mình để có được biểu đồ về số liệu chính xác. Đoạn mã sau sẽ vẽ độ chính xác trên mỗi kỷ nguyên. Chúng tôi chọn độ chính xác của dữ liệu đào tạo (“acc”) và độ chính xác của dữ liệu xác thực (“val_acc”) để vẽ biểu đồ
plot.subplot(2,1,1)
plot.plot(history.history['acc'])
plot.plot(history.history['val_acc'])
plot.title('model accuracy')
plot.ylabel('accuracy')
plot.xlabel('epoch')
plot.legend(['train', 'test'], loc='lower right')
Biểu đồ đầu ra được hiển thị bên dưới
Như bạn có thể thấy trong sơ đồ, độ chính xác tăng nhanh trong hai kỷ nguyên đầu tiên, cho thấy mạng đang học nhanh. Sau đó, đường cong phẳng hơn cho thấy rằng không cần quá nhiều kỷ nguyên để đào tạo mô hình hơn nữa. Nói chung, nếu độ chính xác của dữ liệu đào tạo (“acc”) tiếp tục được cải thiện trong khi độ chính xác của dữ liệu xác thực (“val_acc”) trở nên tồi tệ hơn, thì bạn đang gặp phải tình trạng thừa. Nó chỉ ra rằng mô hình đang bắt đầu ghi nhớ dữ liệu.
Chúng tôi cũng sẽ vẽ các chỉ số tổn thất để kiểm tra hiệu suất của mô hình.
Một lần nữa, chúng tôi vẽ biểu đồ tổn thất trên cả dữ liệu huấn luyện (“tổn thất”) và thử nghiệm (“val_loss”). Điều này được thực hiện bằng cách sử dụng đoạn mã sau
plot.subplot(2,1,2)
plot.plot(history.history['loss'])
plot.plot(history.history['val_loss'])
plot.title('model loss')
plot.ylabel('loss')
plot.xlabel('epoch')
plot.legend(['train', 'test'], loc='upper right')
Đầu ra của mã này được hiển thị bên dưới
Như bạn có thể thấy trong sơ đồ, tổn thất trên tập huấn luyện giảm nhanh chóng trong hai kỷ nguyên đầu tiên. Đối với tập kiểm tra, tổn thất không giảm cùng tốc độ với tập huấn luyện, nhưng hầu như không thay đổi trong nhiều kỷ nguyên. Điều này có nghĩa là mô hình của chúng tôi đang khái quát tốt cho dữ liệu chưa nhìn thấy. Bây giờ, chúng tôi sẽ sử dụng mô hình được đào tạo của mình để dự đoán các chữ số trong dữ liệu thử nghiệm của mình.
xem thêm : Dự đoán về dữ liệu thử nghiệm
The post Deep Learning – Đào tạo người mẫu appeared first on Dongthoigian.
]]>