Низкая скорость при копировании из виртуальной винды в виртуальную линукс

[sana-555]

С недавнего время заметил, что стала очень низкая скорость(25кбт/с) при копировании из виртуальной винды, в расшаренную папку (samba) виртуального линукс. При этом если копировать из шары линукса в виртуальную винду, то скорость большая - 65мб/с. Я опять один такой?..)

[Dja]

Скорость может зависеть от файловых систем и метода копирования, а так же объема. К примеру один большой файл будет копироваться медленнее, чем 100 маленьких.

[slant]

Подробности опять клещами вытягивать?

[sana-555]

Ладно, ладно, не ругайтесь.. Ведь оно как всегда у меня, если сам в голове представляю, значит и другие должны представлять..)
На счет размеров файлов - без разницы, что большой, что малый, одинаково медленно. Файловая система тоже, что с ntfs на ntfs, что с ntfs на ext4 - все медленно. При этом, если копировать из локальной винды в этот же виртуальный линукс, то скорость хорошая.

[Dja]

Попробуйте подумать в этом направлении
cp file windows to windows via linux mint

[Chocobo]

копировании из виртуальной винды, в расшаренную папку (samba) виртуального линукс.

А почему бы не использовать "Общие папки" меж виртуалок?

[slant]

Ну, ерш же тебя налево... Опять двадцать пять...

- Параметры реального железа.
- Какая система виртуализации используется.
- Конфигурация виртуальной машины.
- Хост система.
- Гостевая система.
- Какая конфигурация сети.
- Стоят ли драйвера паравиртуальных устройств.

Это, блин, минимум! Причем не пересказ своими словами, а факты.
Хотите сами что-то диагностировать - лучше посмотрите, не перегружены ли процессоры у реальной и/или виртуальной машины. И что их грузит, если такое присутствует.

[slant]

А почему бы не использовать "Общие папки" меж виртуалок?

В большинстве случаев, они дают больший оверхед чем нормально настроенный сетевой обмен.

[sana-555]

- Параметры реального железа.
- Какая система виртуализации используется.
- Конфигурация виртуальной машины.
- Хост система.
- Гостевая система.
- Какая конфигурация сети.
- Стоят ли драйвера паравиртуальных устройств.

- Двухядерный целерон 3000гГц, память ддр3 12гб
- Виртуалбокс
- Виртуалке отдано 2 ядра, по 2гб памяти, аппаратная виртуализация включена
- Хост: линукс матэ 64
- Гости: 1- линукс матэ 64, 2- винда7(на винде 10 так же наблюдается низкая скорость)
- Сеть: Сетевой мост там и там.
- Про драйвера не знаю, где нужно посмотреть?
Процессор при копировании не зашкаливает, а остается на том же уровне порядка 25%.
Повторюсь, проблема низкой скорости при скачивании, наблюдается только с гостя винды на гость линукс. Также долго открываются более тяжелые файлы в этой шаре. В обратном же направлении, т.е. из гостя линукс в гость винды, копирование происходит без тормозов.

[rogoznik]

Двухядерный целерон 3000гГц, память ддр3 12гб

Вместо этого луше вывод inxi -Fxz

[sana-555]

Вместо этого луше вывод inxi -Fxz

Спасибо, не знал:

System:    Host: sana Kernel: 4.11.0-14-generic x86_64 (64 bit gcc: 5.4.0)
           Desktop: MATE 1.18.0 (Gtk 3.18.9-1ubuntu3.3)
           Distro: Linux Mint 18.2 Sonya
Machine:   System: ASUS product: All Series
           Mobo: ASUSTeK model: H81M-K v: Rev X.0x
           Bios: American Megatrends v: 1002 date: 08/12/2014
CPU:       Dual core Intel Celeron G1840 (-MCP-) cache: 2048 KB
           flags: (lm nx sse sse2 sse3 sse4_1 sse4_2 ssse3 vmx) bmips: 11174
           clock speeds: max: 2800 MHz 1: 2800 MHz 2: 2799 MHz
Graphics:  Card: Intel Xeon E3-1200 v3/4th Gen Core Processor Integrated Graphics Controller
           bus-ID: 00:02.0
           Display Server: X.Org 1.18.4 drivers: intel (unloaded: fbdev,vesa)
           Resolution: 1920x1080@60.00hz
           GLX Renderer: Mesa DRI Intel Haswell Desktop
           GLX Version: 3.0 Mesa 12.0.6 Direct Rendering: Yes
Audio:     Card Intel 8 Series/C220 Series High Definition Audio Controller
           driver: snd_hda_intel bus-ID: 00:1b.0
           Sound: Advanced Linux Sound Architecture v: k4.11.0-14-generic
Network:   Card: Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
           driver: r8169 v: 2.3LK-NAPI port: e000 bus-ID: 03:00.0
           IF: enp3s0 state: up speed: 100 Mbps duplex: full mac: <filter>
Drives:    HDD Total Size: 376.1GB (68.0% used)
           ID-1: /dev/sda model: Samsung_SSD_750 size: 120.0GB
           ID-2: /dev/sdb model: PLEXTOR_PX size: 256.1GB
Partition: ID-1: / size: 15G used: 7.5G (55%) fs: ext4 dev: /dev/sda3
           ID-2: /home size: 93G used: 17G (19%) fs: ext4 dev: /dev/sda5
RAID:      No RAID devices: /proc/mdstat, md_mod kernel module present
Sensors:   System Temperatures: cpu: 29.8C mobo: 27.8C
           Fan Speeds (in rpm): cpu: 0
Info:      Processes: 217 Uptime: 5 days Memory: 10941.2/11886.3MB
           Init: systemd runlevel: 5 Gcc sys: 5.4.0
           Client: Shell (bash 4.3.481) inxi: 2.2.35

[sana-555]

А почему бы не использовать "Общие папки" меж виртуалок?

Они есть, через них как раз скорость нормальная в обе стороны, но некоторые шары находятся на ntfs и эта фс мне не дает сделать сжатие и восстановление базы данных аксесс. На расшаренной же самбой папке, этих ограничений нет, сжатие и восстановление проходит (проходило) нормально, до не давней поры. Я заметил это, когда пришел на работу, а у меня аксесс замер в попытке сделать сжатие, которое должно было запуститься еще в 2 часа ночи (планировщик заданий), и по нормальному, через 2-3 секунды закончится. Потом я стал копать, и выяснилось что и скорость копирования стала низкой в одну сторону, о которой я написал выше.
п.с. я про общую папку в виртуалбоксе, если правильно понял..

[slant]

Логи виртуальных машин и их конфиги пожалуйста покажите.
Скорее всего лог будет в <имя машины>/Logs/Vbox.log а конфиг - <имя машины>/<имя машины>.vbox (конфиг это XML файл, можно текстовым редактором открыть).

Так же, покажите вывод команд "mount" и "df -h" на хосте.

Еще нюансик - скопируйте что-то объемное - чтобы проявились тормоза, и сразу после этого сделайте копию файла /var/log/syslog на хосте.
И тоже покажите. Если файл большой - залейте файл куда-нить, и ссылку дайте. Цитировать только последние строчки не нужно.

P.S. Машины не перегружались с момента обнаружения тормозов? Если нет - пока не перегружайте. Есть шанс что пропадет, и потом опять вылезет когда-нить, а сейчас уже не увидим причину.

[sana-555]

Так же, покажите вывод команд "mount" и "df -h" на хосте.

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=6059920k,nr_inodes=1514980,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=1217160k,mode=755)
/dev/sda3 on / type ext4 (rw,relatime,errors=remount-ro,stripe=32603,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (rw,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma,release_agent=/run/cgmanager/agents/cgm-release-agent.rdma)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb,release_agent=/run/cgmanager/agents/cgm-release-agent.hugetlb)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset,clone_children)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids,release_agent=/run/cgmanager/agents/cgm-release-agent.pids)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event,release_agent=/run/cgmanager/agents/cgm-release-agent.perf_event)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=25,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=14621)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)
tracefs on /sys/kernel/debug/tracing type tracefs (rw,relatime)
sunrpc on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
/dev/sda5 on /home type ext4 (rw,relatime,stripe=32696,data=ordered)
/dev/sdb1 on /media/data type fuseblk (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,blksize=4096)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,relatime)
cgmfs on /run/cgmanager/fs type tmpfs (rw,relatime,size=100k,mode=755)
tmpfs on /run/user/1000 type tmpfs (rw,nosuid,nodev,relatime,size=1217160k,mode=700,uid=1000,gid=1000)
gvfsd-fuse on /run/user/1000/gvfs type fuse.gvfsd-fuse (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000)

Файл.система   Размер Использовано  Дост Использовано% Cмонтировано в
udev             5,8G            0  5,8G            0% /dev
tmpfs            1,2G         9,8M  1,2G            1% /run
/dev/sda3         15G         7,3G  6,3G           54% /
tmpfs            5,9G          53M  5,8G            1% /dev/shm
tmpfs            5,0M         4,0K  5,0M            1% /run/lock
tmpfs            5,9G            0  5,9G            0% /sys/fs/cgroup
/dev/sda5         93G          17G   72G           19% /home
/dev/sdb1        239G         215G   24G           91% /media/data
cgmfs            100K            0  100K            0% /run/cgmanager/fs
tmpfs            1,2G          68K  1,2G            1% /run/user/1000

Еще нюансик - скопируйте что-то объемное - чтобы проявились тормоза, и сразу после этого сделайте копию файла /var/log/syslog на хосте.

syslog-ов там много, запихал все в архив..
Уточню, что как таковых тормозов нет, есть только низкая скорость копирования(25кбт/с) в одну сторону, о которой писал выше, ну и долго открываются тяжелые файлы.

P.S. Машины не перегружались с момента обнаружения тормозов?

Нет.

[slant]

Как я понимаю - место где лежат виртуалки ( /media/data ) - это подключеный через USB диск? Причем подключенный не руками через mount, а просто воткнутый - чтоб система его сама распознала?

Если да - на 90% это источник неприятностей. Такой диск монтируется через FUSE а не напрямую ядром, производительность обмена с ним падает (особенно записи), что машина пытается компенсировать выделением всей свободной памяти под дисковые буферы. Это маскирует низкую скорость из-за включенной отложенной записи из них. Но у вас, судя по логам, в один момент память хоста оказалась забита полностью, пошел сброс... Возможно - все еще идет... Так же, возможно, что виртуалка которая первая столкнулась с этим, перешла в режим прямого чтения-записи.

Держать виртуалки на USB - так себе затея. Именно по этому. Если уж очень надо - монтируйте диск вручную, командой mount, и обязательно - с опцией: "-o noatime". Будет получше. Но все равно, особо на совсем безглючную жизнь не рассчитывайте.

[sana-555]

Как я понимаю - место где лежат виртуалки ( /media/data ) - это подключеный через USB диск?

Нет, подключен как обычный диск при установке, через сата 6Гб кабель. Т.е на один диск я установил систему, а ну /media/data положил виртуалки, чтобы не занимали места. Кстати на нем же находятся папки с данными, которые я расшариваю.

[slant]

Хм, а как тогда образовалось вот это:
/dev/sdb1 on /media/data type fuseblk (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,blksize=4096)
Диск смонтирован через FUSE. Покажите пожалуйста еще /etc/fstab хоста.

И, раз это не съемный диск usb, значит /dev/sdb - это тоже SSD у вас? Plextor обычных дисков не выпускает...

[sana-555]

Диск смонтирован через FUSE. Покажите пожалуйста еще /etc/fstab хоста.

Код: Выделить всё

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda3 during installation
UUID=5e6ba2b5-190d-4760-a128-85967824343a /               ext4    errors=remount-ro 0       1
# /data was on /dev/sdb1 during installation
UUID=F628E8C928E88A47 /media/data           ntfs    defaults,umask=007,gid=46 0       0
# /home was on /dev/sda6 during installation
UUID=45064b3c-900f-4d19-b041-27a2e523e73f /home           ext4    defaults        0       2
# swap was on /dev/sda5 during installation
UUID=f0acec80-a6d0-48f0-8f9b-3c70734713a4 none            swap    sw              0       0

И, раз это не съемный диск usb, значит /dev/sdb - это тоже SSD у вас?

Да, ssd, а я сказал что это hdd? А, понял, когда сказал "обычный", то вы поняли что это hdd..

[slant]

Судя по всему у вас вот это: https://habrahabr.ru/post/242199/

FUSE вряд-ли нормально выдает TRIM, а диск забит почти под завязку. Откуда оно взялось - теперь тоже понятно. Поддержка NTFS через нее работает. Меняйте файловую систему на нативную.

[sana-555]

Судя по всему у вас вот это:

Я думаю, навряд ли, поскольку это явление наблюдалось бы при копировании и с реальных машин, а там как раз все хорошо. Ради эксперимента высвободил места на этом диске, сейчас 100Гб свободно, но ничего не поменялось.

Меняйте файловую систему на нативную.

Как это сделать?