Александр Попов. Блог.

Раньше пользовался утилитой youtube-dl для скачивания Youtube роликов в терминале Ubuntu. В какой-то момент она перестала работать. Подумал, что это связано с блокировками РосКомПозора. Но оказалось, что её забросили

Попробовал установить альтернативу - yt-dlp.

python3 -m venv ~/Downloads/yt-dlp ~/Downloads/yt-dlp/bin/pip install yt-dlp

Попытка скачивания привела к ошибке:
WARNING: [youtube]: Some web client https formats have been skipped as they are missing a url. YouTube is forcing SABR streaming for this client. WARNING: [youtube] Invalid po_token configuration for mweb client: gvs PO Token should be a base64url-encoded string. WARNING: [youtube] : mweb client https formats require a GVS PO Token which was not provided. They will be skipped as they may yield HTTP Error 403. You can manually pass a GVS PO Token for this client with --extractor-args "youtube:po_token=mweb.gvs+XXX". [info]: Downloading 1 format(s): 18 [download] Sleeping 3.00 seconds as required by the site... ERROR: unable to download video data: HTTP Error 403: Forbidden

Поддержка SABR streaming в yt-dlp пока отсутствует. Настраивать токены и вытаскивать cookies из браузера не хотелось. К счастью, оказалось, что есть форк yt-dlp-ytse, который решает эту проблему. Установил его:

~/Downloads/yt-dlp/bin/pip install -U yt-dlp-ytse

Далее запустил скачивание ролика с разрешением 720p (для чего указал "-f 232+140" в параметрах утилиты)

~/Downloads/yt-dlp/bin/yt-dlp https://www.youtube.com/live/dLXkE2gj-rs -f 232+140

3-часовой ролик скачался без проблем.

Чтобы посмотреть список форматов, можно запустить утилиту с параметром
--list-formats

Например:
~/Downloads/yt-dlp/bin/yt-dlp https://www.youtube.com/live/dLXkE2gj-rs --list-formats
sb3 mhtml 48x27 0 │ mhtml │ images storyboard
sb2 mhtml 80x45 0 │ mhtml │ images storyboard
sb1 mhtml 160x90 0 │ mhtml │ images storyboard
sb0 mhtml 320x180 0 │ mhtml │ images storyboard
233 mp4 audio only │ m3u8 │ audio only unknown [en] Untested, English - original (original)
234 mp4 audio only │ m3u8 │ audio only unknown [en] Untested, English - original (original)
139 m4a audio only 2 │ 85.48MiB 49k https │ audio only mp4a.40.5 49k 22k [en] English original (default), low, m4a_dash
249 webm audio only 2 │ 87.18MiB 50k https │ audio only opus 50k 48k [en] English original (default), low, webm_dash
140 m4a audio only 2 │ 226.87MiB 129k https │ audio only mp4a.40.2 129k 44k [en] English original (default), medium, m4a_dash
251 webm audio only 2 │ 212.01MiB 121k https │ audio only opus 121k 48k [en] English original (default), medium, webm_dash
269 mp4 256x144 30 │ ~436.46MiB 249k m3u8 │ avc1.4D400C 249k video only Untested
160 mp4 256x144 30 │ 118.79MiB 68k https │ avc1.4d400c 68k video only 144p, mp4_dash
229 mp4 426x240 30 │ ~708.55MiB 404k m3u8 │ avc1.4D4015 404k video only Untested
133 mp4 426x240 30 │ 252.70MiB 144k https │ avc1.4d4015 144k video only 240p, mp4_dash
230 mp4 640x360 30 │ ~ 1.45GiB 848k m3u8 │ avc1.4D401E 848k video only Untested
134 mp4 640x360 30 │ 471.90MiB 269k https │ avc1.4d401e 269k video only 360p, mp4_dash
18 mp4 640x360 30 2 │ 640.28MiB 365k https │ avc1.42001E mp4a.40.2 44k [en] 360p
231 mp4 854x480 30 │ ~ 2.57GiB 1504k m3u8 │ avc1.4D401F 1504k video only Untested
135 mp4 854x480 30 │ 812.29MiB 464k https │ avc1.4d401f 464k video only 480p, mp4_dash
232 mp4 1280x720 30 │ ~ 4.30GiB 2510k m3u8 │ avc1.64001F 2510k video only Untested
136 mp4 1280x720 30 │ 1.47GiB 860k https │ avc1.64001f 860k video only 720p, mp4_dash
270 mp4 1920x1080 30 │ ~ 8.32GiB 4863k m3u8 │ avc1.640028 4863k video only Untested
137 mp4 1920x1080 30 │ 2.68GiB 1565k https │ avc1.640028 1565k video only 1080p, mp4_dash

Далее из первого столбца выбираем число, соответствующее видео потоку нужного разрешения (video only), а также второе число, соответствующее выбранном аудио потоку (audio only), После чего используем их через плюс, как в примере выше.

При скачивании видео потока в dash стандарте я получал отвратительную картинку. Поэтому исключал эти варианты. Хотя именно они доступны сразу же после окончания живого вещания (остальные форматы появляются немного позже).

Также обратите внимание, что при наличии нескольких звуковых дорожек, можно скачивать дорожку на нужном Вам языке (в списке форматов видно, на каком языке звуковая дорожка).

Существует конечно множество онлайн сервисов для скачивания с youtube, но они в основном либо не работают в России, либо не скачивают видео в хорошем качестве, либо не поддерживают ролики длиной больше часа.

Включил ноутбук, а на чёрном экране появилась ошибка: "Verifying shim SBAT data failed: Security Policy Violation." Демонстрируется она всего несколько секунд, после чего компьютер просто выключается.

Оказалось, что виной тому обновление Windows. Для разрешения проблемы пришлось проделать следующие шаги:

1. Отключаем Secure Boot в BIOS
2. После загрузки компьютера в Ubuntu или Linux Mint открываем терминал
3. Удаляем SBAT политики при помощи команды:
   sudo mokutil --set-sbat-policy delete
4. Перегружаем компьютер в Убунт (Минт) для обновления SBAT политик
5. Перегружаем компьютер и возвращаем Secure boot в BIOS.

via

Обновил операционную систему Ubuntu до версии 22.04. Всё работает хорошо (разве что Firefox теперь поставляется, как snap пакет, поэтому дольше запускается).

Но вот с WPS Office 11.1.0.10976 стало происходить что-то непонятное. После установки WPS офис просто не запускался. Как обычно, при возникновении проблем с приложениями в Ubuntu, попробовал запустить wps через терминал. Но никаких ошибок при этом не возникло. Офис по-прежнему не запускался.

В предыдущих версиях некоторым удавалось просто удалить папку ~/.config/Kingsoft, после чего WPS Office начинал работать. Но в данном случае ничего не помогло.

Если запустить wps офис с правами администратора
sudo wps
то офис конечно работает. Но запускать офисное приложение с такими правами небезопасно, так что такой вариант отпадал. Но хотя бы понятно, что проблема скорее всего всего лишь связана с разрешениями (permissions).

Пакет .deb скачивал с официального сайта WPS Office. Пробовал и более старую 11 версию. Результат идентичный.

При этом snap пакеты WPS Office работают, но это далеко не самые последние версии, при этом предоставляются не самим Kingsoft.

Оказалось, что достаточно скачать rpm пакет с сайта WPS, после чего сконвертировать его при помощи alien
sudo alien wps-office-11.1.0.10976.XA-1.x86_64.rpm



Получаем .deb пакет, который почему-то больше по размеру, чем скаченный .deb с сайта WPS. Но главное, что сконвертированный пакет прекрасно устанавливается, а WPS офис после этого работает без проблем.

p.s.

Именно WPS Office использую по той причине, что у него просто шикарная совместимость с документами Microsoft Office (на порядок лучше, чем у Libre Office). При этом WPS Office абсолютно бесплатен для некоммерческого использования.
( Read more... )

Продолжаю пользоваться торговым терминалом Quik в Ubuntu, т.к. считаю этот вариант более безопасным, чем использование Windows. Хотелось бы нативный клиент для Linux, но кроме Web Quik варианта для большинства брокеров просто нет.

Моя старая инструкция по установке Quik при помощи WINE прекрасно работала в версиях Ubuntu 13.10 - 19.20, но с выходом WINE версии 5 для Ubuntu 20.04 возникли проблемы. Quik вроде бы запускался, хотя и ругался на ODBC драйверы в терминале, но после ввода пароля переставал работать из-за возникновения ошибки "General Protection Fault — Internal exception happened." Такая же ошибка может возникать и в Windows. Но стандартные для Винды приёмы по удалению .dmp, .log и .dat файлов результатов не дали. Переустановка wine и quik тоже не решала проблем.

Добавил репозиторий для WINE, установил WINE 5.0.1 и winetricks, после чего всё заработало вновь.



Установка торгового терминала Quik 8.5 в Ubuntu 20.04 (GNU/Linux) при помощи WINE

1. Устанавливаем Wine и Winetricks, выполнив в терминале
   sudo dpkg --add-architecture i386
wget -O - https://dl.winehq.org/wine-builds/winehq.key | sudo apt-key add -
sudo apt update
sudo apt install --install-recommends winehq-stable winetricks
   
   Добавлять поддержку архитектуры win32 (первая команда выше) нужно только если ваша система 64-разрядная.
   
   Проблему рано или поздно исправят, так что можно будет пользоваться WINE и без дополнительного репозитория:
   sudo dpkg --add-architecture i386
sudo apt install wine winetricks
2. Устанавливаем VC6RedistSetup. Можно его скачать с сайта Майкрософт и запустить при помощи Wine. А можно просто выполнить в терминале
   winetricks vcrun6
   
   Гораздо проще воспользоваться winetricks, т.к. перед установкой VC6RedistSetup он предложит установить необходимые нам "Wine Mono Installer" и "Wine Gecko Installer". На предложения скачать и установить нужно соглашаться и нажимать на кнопку Install.


3. Скачиваем Quik с сайта брокера. Если приложение находится в архиве (zip, rar), то его нужно предаварительно распаковать. WINE будем запускать с .exe файлом.


4. Для установки Quik используйте команду в терминале:
   env 'LANG=ru_RU.utf8' wine quik_inst.exe
   
   Где вместо quik_inst.exe нужно подставить имя вашего установщика quik (например, это может быть "quik_8.5.exe"). Обратите внимание, что запускать эту команду нужно из папки, в которой находится этот установщик (installer). Если вы скачали его в папку пользователя Downloads, распаковали ZIP архив именно в эту папку, то переходите в неё при помощи команды cd в терминале:
   cd ~/Downloads


5. Копируем ключи secring.txk и pubring.txk в папку /home/USER/.wine/dosdevices/c:/Program Files/BROKER/Keys, где USER - ваше имя пользователя, а BROKER - подпапка в "Program Files (x86)", в которую установлен торговый терминал Quik (Возможно, вы захотите установить Quik не в Program Files, а в корень, например, в C:\SBERBANK. Тогда и ключи копируем в соответствующую папку). Ключи конечно же можно хранить и в другой папке, при этом в "Система" -> "Настройки" -> "Основные настройки" -> "Программа" -> "Шифрование" -> "Шифровать с помощью СКЗИ" -> Qrypto32 -> "Настроить" нужно указать путь к ключам.


6. Создаем ярлык для запуска. В моем случае это shell скрипт (текстовый файл с расширением sh) на рабочем столе.
   cd "~/.wine/dosdevices/c:/Program Files/BROKER/"
env 'LANG=ru_RU.utf8' wine "c:/Program Files/BROKER/info.exe"
   Если опустить параметр "env 'LANG=ru_RU.utf8'", то часть текста может отображаться некорректно (вместо текста появляются вопросы или кракозябры).
   Если не перейти в папку с установленной программой перед запуском, то возникают проблемы с настройками.
   Вместе же две команды решают проблемы с запуском Quik в Ubuntu (Linux).


7. После создания shell скрипта quik.sh можно открыть свойства этого текстового файла и на вкладке Permissions разрешить выполнение в качестве программы. Но можно переходить в папку с этим скриптом в терминале и запускать его, добавляя "./" перед именем файла:
   cd ~/Desktop
./quik.sh


8. Если нужно сгенерировать ключи для Quik, то запускаем keygen.exe из под WINE:
   cd ~/.wine/dosdevices/c:/Program Files (x86)/BROKER/KeyGen
env 'LANG=ru_RU.utf8' wine keygen.exe


9. Профит!

Данный способ запуска Quik в Linux прекрасно работает для брокеров ВТБ, Открытие, БКС, Финам, Сбербанк, Промсвязьбанк и прочих. В том числе не возникает и проблем, если для входа требуется SMS подтверждение.

Если при запуске через некоторое время возникает ошибка "Не хватило памяти под объекты, без которых приложение работать не может", то первым делом нужно проверить наличие свободной памяти. В моём случае её было предостаточно, закрывать другие приложения не нужно было.

На сайте Ace Stream доступна для скачивания только версия для Ubuntu 16.04, но она прекрасно устанавливается и на Ubuntu 17.10

Скачать можно и набрав команду в терминале

wget "http://dl.acestream.org/linux/acestream_3.1.16_ubuntu_16.04_x86_64.tar.gz"

Распаковываем архив

tar zxvf acestream_3.1.16_ubuntu_16.04_x86_64.tar.gz

Переносим содержимое распакованной папки в /opt/acestream:

sudo mv acestream_3.1.16_ubuntu_16.04_x86_64/ /opt/acestream

Устанавливаем зависимости

sudo apt-get install python python-setuptools python-m2crypto python-apsw
pip install greenlet gevent psutil

Проверяем версию установленного приложения Ace Stream Engine:

/opt/acestream/acestreamengine --version

Для создания PDF файла их нескольких картинок можно использовать бесплатный редактор Faststone Image Viewer (Windows). Достаточно выделить несколько файлов и в меню выбрать Создание многостраничного документа.

В Linux можно использовать imagemagick. В консоли выполняем следующую команду:

find . -type d -print0 | xargs -0 -I '{}' convert '{}'/*.jpg '{}'.pdf

В результате будет создано несколько pdf файлов с именами, соответствующими названию имени папки. Каждый PDF файл будет состоять из .JPG картинок, находящихся в соответствующей подпапке.

Обратите внимание, что следующая команда может приводить к тому, что JPG файлы окажутся в PDF документе не в том порядке.

convert *.jpg output.pdf

Чтобы исправить эту ситуацию, нужно немного модифицировать команду.

convert 'ls -v *.jpg' output.pdf

При выборе организации дисков на сетевом хранилище Synology 212j выбрал JBOD. В отличии от RAID 0, который также не предполагает резервирования данных, данные не разбросаны на разных дисках. В результате после поломки одного из дисков шанс восстановить данные потенциально выше. Скорость доступа конечно при этом страдает, но это для меня было не критично. Кроме того, все фото и видео дополнительно копировались на жесткий диск, находящийся у родителей, что обеспечивало ещё большую безопасность данных. В том числе такое дублирование данных спасает не только от поломок, но и от пожара или воровства.

Коснувшись проблемы восстановления данных с Synology 212j, понял, что и случае с JBOD всё не так просто. Причём причиной возникновения сбоя явилось банальное отключение электричества.

В результате в панели управления сетевого хранилища  Synology в разделе Storage Manager  появилось сообщение:
"Danger
One or more volumes/Disk Groups/iSCSI LUNs/SSD caches are crashed. We recommend rescuing your data by copying the files or running a backup task."



( Read more... )

После установки Ubuntu 15.10 столкнулся с искажением экрана на компьютере со встроенной видеокартой Intel



Раньше такое бывало у меня только после установки на компьютерах с графической картой Nvidia.

( Read more... )

Не смотря на то, что в настройках Settings Manager -> Preferred Applications предпочитаемым браузером был Firefox, ссылки из различных приложений (в том числе Viber, Thunderbird)Xubuntu 15.04 продолжали открываться в Chromium.



Оказывается, что выбрать браузер по умолчанию для других приложений можно при помощи терминала:

sudo update-alternatives --config x-www-browser && sudo update-alternatives --config gnome-www-browser

Ubuntu 14.10 на моем Dell XPS постоянно не может восстановить сетевое подключение после выхода из сна. Можно конечно перезагрузить компьютер, но это решение проблемы вовсе не нравится. В итоге нашел команду, с помощью которой можно в терминале восстановить подключение к Интернет.

Выполняем команду

nmcli nm

Смотрим, спит ли до сих пор сетевой менеджер. Получаем что-то вроде

RUNNING STATE WIFI-HARDWARE WIFI WWAN-HARDWARE WWAN
running asleep enabled disabled enabled enabled

Если спит, то будим его:

sudo nmcli nm sleep false